Hacker News· westurner·· 5 小时前精选AI 评分37
《注意力并非你所需要》（2025）：基于Grassmann流的无注意力架构
Attention Is Not What You Need (2025)
AI 导读
论文《Attention Is Not What You Need》提出基于Grassmann流的无注意力架构，以Causal Grassmann层将局部token对编码为二维子空间，替代L×L显式自注意力矩阵。
推荐理由
论文以同规模Transformer为对照，报告Wikitext-2困惑度、SNLI准确率及固定秩下的线性扩展特性，为评估无注意力架构提供量化依据。
正文 · AI 翻译
摘要：我们重新审视序列建模中的一个基本问题：显式自注意力对于出色的性能和推理能力是否确有必要？我们认为，标准多头注意力最好被视为一种张量提升形式：隐藏向量被映射到成对交互构成的高维空间，而学习过程则通过梯度下降来约束这一提升后的张量。这种机制表达能力极强，但在数学上并不透明，因为经过许多层后，要用少量显式不变量来描述模型会变得非常困难。
为探索一种替代方案，我们提出一种基于 Grassmann 流的免注意力架构。我们的 Causal Grassmann 层不形成 L by L 的注意力矩阵，而是：(i) 对词元状态进行线性降维，(ii) 通过 Plucker 坐标将局部词元对编码为 Grassmann 流形上的二维子空间，以及 (iii) 通过门控混合将这些几何特征重新融合回隐藏状态。因此，信息通过低秩子空间在多尺度局部窗口上的受控形变进行传播，使核心计算位于有限维流形上，而非无结构张量空间中。
在 Wikitext-2 语言建模基准测试上，纯基于 Grassmann、参数量为 13 至 18 million 的模型，其验证困惑度与规模匹配的 Transformer 相差约 10% 至 15%。在 SNLI 自然语言推理任务上，位于 DistilBERT 之上的 Grassmann-Plucker 头略微优于 Transformer 头，最佳验证集和测试集准确率分别为 0.8550 和 0.8538，而后者为 0.8545 和 0.8511。我们分析了 Grassmann 混合的复杂度，证明在秩固定时其随序列长度呈线性扩展，并论证这类基于流形的设计为采用几何视角及基于不变量的视角解释神经推理提供了一条更具结构性的路径。
| 主题： | 机器学习 (cs.LG); 人工智能 (cs.AI); 代数几何 (math.AG) |
| 引用为： | arXiv:2512.19428 [cs.LG] |
| （或 arXiv:2512.19428v1 [cs.LG]，适用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.19428 由 arXiv 通过 DataCite 签发的 DOI |
提交历史
来自：Chong Zhang [查看电子邮件]
[v1]
Mon, 22 Dec 2025 14:29:18 UTC (16 KB)
来源：Hacker News · arxiv.org