PAR提升循环模型长度外推

PAR论文作者提出进度对齐递归，通过在第k次循环前预测第k步后的状态、每次循环后重缩放隐藏状态，改善循环语言模型的长度外推；在swap-S5上，其0.5B模型用最长32步序列训练后，512步时完整状态准确率达95.5%，高于RLT的55.7%和CoT的0.8%。 相关实验覆盖Qwen2.5的0.5B、1.5B、3B、7B模型及Qwen3的0.6B至4B模型；PAR可仅用最终答案监督训练，无需中间状态标注。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。