跳到正文
热点事件持续更新

Ai2发布Olmo混合架构与Transformer逐token对比

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月3日,Ai2在其官方博客发布了Olmo Hybrid与同为7B参数的Olmo 3 transformer模型的逐token对比结果。逐token对比显示,Olmo Hybrid在承载语义信息的实词(如名词、动词、形容词)上loss比Olmo 3低约0.04;而在功能词上,Olmo Hybrid的loss仅比Olmo 3低约0.02,优势相对较小。此外,在需要直接复述上文已出现token的场景中,Olmo Hybrid相对于Olmo 3的优势会随着复述长度的增加而逐渐趋近于零。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月3日
  1. Ai2 Blog
    Olmo Hybrid vs Olmo 3:混合架构在哪些 token 上更胜 transformer?

    Olmo Hybrid 与同为 7B 的 Olmo 3 transformer 逐 token 对比中,在承载语义的实词(名词、动词、形容词)上 loss 低约 0.04,功能词上仅低 0.02;在直接复述上文已出现 token 的场景中,混合模型优势随重复长度趋近于零。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。