HF Daily Papers·· 5 天前精选AI 评分43
LexFrame：用词法参考系以原生语义解释 LM 残差流
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
AI 导读
作者提出 LexFrame 方法，通过模型自身剩余层读取隐藏态，在 SmolLM3-3B 和 OLMo3-7B 上分别达到 0.97 与 0.97 的相干性，明显高于固定 lens 0.30 与 0.35 的上限。其读出结果与模型输出相差约 0.16 nats，并能基于置信度实现跳过约 0.45 与 0.42 比例层的早退。
推荐理由
提出用模型自身剩余层读取隐藏态的 LexFrame 方法，把相干性上限从约 0.30 拉到 0.97，并支持跳过近半模型层。
来源：HF Daily Papers · huggingface.co