HF Daily Papers·· 4 天前精选AI 评分36
MSAR:面向多视角的多流注意力残差架构
Multi-Stream Attention Residuals
AI 导读
论文提出 Multi-Stream Attention Residuals(MSAR),将 Attention Residuals 沿深度轴的单流 softmax 注意力推广为多流多尺度结构,通过多尺度因果卷积为不同注意力头提供不同上下文视图,再经轻量自适应混合生成层输入,无需持久多流存储或通信。
推荐理由
原文给出 MSAR 在 18B 与 28B MoE 规模下相对 AttnRes、mHC 的加速对比,可作为残差结构选型的参照。
来源:HF Daily Papers · huggingface.co