Ai2 Blog·· 9 天前精选AI 评分51
Ai2 发布开源 MoE 训练基础设施 Olmo-core 3，瞄准万亿参数规模
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Ai2 发布开源训练基础设施 Olmo-core 3，面向大模型 MoE 架构设计，可扩展到万亿参数规模。系统从 FSDP 切到 DDP，保留专家权重驻留在 GPU 上；在 8 张 NVIDIA B300 GPU 上，47B 参数 MoE 吞吐约 52,000 tokens/s/GPU，较旧实现约 2.7 倍。
推荐理由
完整公开了面向万亿参数 MoE 的训练栈设计、关键优化和吞吐量基准数据，对自建大模型训练系统的团队有参考价值。
来源：Ai2 Blog · allenai.org