HF Daily Papers·· 4 天前精选AI 评分43
循环语言模型设计三轴拆解（拓扑、输入注入与循环状态）
Towards Looped Models Done Right, Part I: Topology, Input Injection, Recurrent-State Design
AI 导读
在 730M 参数、336B token 训练预算下，Huginn 循环语言模型架构在全部十个基准上优于 Ouro；这一优势可迁移到 8BA0.8B（展开 32BA3B）的 MoE 设置，仍在知识、推理与编码基准上几乎全面领先。
推荐理由
论文按拓扑、输入注入与循环状态三条设计轴拆解循环语言模型，在 730M 与 MoE 两组设置下对比 Huginn 与 Ouro 的实际表现，并给出可迁移的设计取舍。
来源：HF Daily Papers · huggingface.co