跳到正文

内容类型

论文研究 最新动态

值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展。

601 条精选近 30 天 574 条共收录 705 条

更新

精选归档 · 第 31 页

6月25日周四第 601–601 条
  1. Ai2 Blog45

    混合模型在哪些 token 上预测更好？Ai2 对 Olmo 3 与 Olmo Hybrid 的逐 token 损失分析

    Ai2 对其 7B 模型 Olmo 3（Transformer）与 Olmo Hybrid 做了逐 token 对比，发现混合架构在表义类词（名词、动词、形容词等）上的损失比 Transformer 低约 0.04。

    推荐理由：用逐 token 的损失对比揭示了混合架构在表义词类上的具体优势以及在复制场景下的失效，为架构评估提供了比平均损失更细的维度。