跳到正文
原文
HF Daily Papers·· 3 天前精选AI 评分51

研究溯源推理模型中的 {wait} 标记:其来自训练数据,RL 效应因配方而异

Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models

AI 导读

一项对开放模型训练历程的研究发现,推理模型中的 {wait} 标记可由训练数据继承,而非由强化学习(RL)自行发明。在缺少该词的基座上,RL 显著提升 MATH-500 准确率时,{wait} 仍接近缺席;该词会在 OLMo-3 的中期训练阶段出现,并能由推理轨迹微调植入大多数缺少该词的基座。

推荐理由

论文区分了 {wait} 的训练继承与特定 RL 配方的放大作用,并指出标记频率和 LLM 评审可能误判推理趋势。

来源:HF Daily Papers · huggingface.co