Ai2 发布 Olmo-core 3：面向大规模 MoE 的开源可扩展训练基础设施

Ai2 发布开源训练框架 Olmo-core 3，把 MoE 训练栈从 FSDP 改为 DDP 实现，面向 trillion 参数规模。基准测试显示，47B 参数 MoE 在 8 张 B300 上达到 52,000 tokens/sec/GPU，约为旧实现的 2.7 倍；同一栈已在 512 张 B300 上跑通 1.2 万亿参数模型，最高 858 TFLOPs/s/GPU。