跳到正文
原文
HF Daily Papers·· 4 天前精选AI 评分36

MSAR:面向多视角的多流注意力残差架构

Multi-Stream Attention Residuals

AI 导读

论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。

推荐理由

原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。

来源:HF Daily Papers · huggingface.co