Hugging Face Blog·· 8 天前精选AI 评分54
Olmo-core 3 发布：面向大型 MoE 的开源可扩展训练基础设施
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Allenai 发布开源训练框架 Olmo-core 3，将 MoE 训练基础设施扩展到万亿参数规模。
推荐理由
Olmo-core 3 把万亿参数 MoE 的训练栈完整开源，并附带各项优化在 B300 上的实测对比，为后续训练基础设施的复现与改写提供了具体基准。
来源：Hugging Face Blog · huggingface.co