HF Daily Papers·· 1 天前精选AI 评分35
LatentLoop：通过非对称算力分配扩展循环 MoE 模型
LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
AI 导读
LatentLoop 提出在循环 MoE 模型中对两次访问做非对称算力分配：压缩第一次访问的序列、保留第二次的全分辨率，并把节省的计算用于增大隐藏维度，同时学习第一次访问对完整序列的更新强度、跨访问共享 MoE 权重并使用独立的注意力参数。
推荐理由
在固定 FLOPs 预算下对比 vanilla MoE 与循环 MoE 基线，给出非对称算力分配带来的实测节省幅度，可作为同规模 MoE 训练的设计参考。
来源：HF Daily Papers · huggingface.co