Ai2 Blog·· 2026-06-25精选AI 评分45
混合模型在哪些 token 上预测更好？Ai2 对 Olmo 3 与 Olmo Hybrid 的逐 token 损失分析
Which tokens does a hybrid model predict better?
AI 导读
Ai2 对其 7B 模型 Olmo 3（Transformer）与 Olmo Hybrid 做了逐 token 对比，发现混合架构在表义类词（名词、动词、形容词等）上的损失比 Transformer 低约 0.04。
推荐理由
用逐 token 的损失对比揭示了混合架构在表义词类上的具体优势以及在复制场景下的失效，为架构评估提供了比平均损失更细的维度。
来源：Ai2 Blog · allenai.org