HF Daily Papers·· 2 天前精选AI 评分42
稀疏自编码器表征的行为组合性研究
Behavioral Compositionality of Sparse Autoencoder Representations
AI 导读
作者提出 SAE Additivity Residuals (SAR) 指标,用以衡量单个 SAE 特征及低阶交互无法解释的行为变化,并在 18 组模型与行为设定中验证 SAE 学习坐标比匹配随机旋转更具行为可加性。
推荐理由
提出 SAR 指标量化 SAE 特征间高阶交互,并在 steering 实验中验证建模二元交互可提升排位保真度。
来源:HF Daily Papers · huggingface.co