Olmo Hybrid vs Olmo 3：混合架构在哪些 token 上更胜 transformer？

Olmo Hybrid 与同为 7B 的 Olmo 3 transformer 逐 token 对比中，在承载语义的实词（名词、动词、形容词）上 loss 低约 0.04，功能词上仅低 0.02；在直接复述上文已出现 token 的场景中，混合模型优势随重复长度趋近于零。