HF Daily Papers·· 2 天前精选AI 评分46
PAR用进度对齐递归提升状态跟踪的长度泛化
PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
AI 导读
PAR提出进度对齐递归，通过在第k次循环预测前k步后的状态，并在每次循环后重缩放隐藏状态，改善循环语言模型的长度外推。在swap-S5上，使用最多32步序列训练的0.5B模型在512步达到95.5%完整状态准确率，高于RLT的55.7%和CoT的0.8%。
推荐理由
论文将循环次数与任务步数对齐，并给出PAR在512步长度外推任务上相对RLT和CoT的准确率对比，便于理解循环语言模型的失效与改进机制。
来源：HF Daily Papers · huggingface.co