HF Daily Papers·· 3 天前精选AI 评分35
TPPO：面向语言模型推理的 Tracking-Value PPO 方法
TPPO: Tracking-Value PPO For Language Model Reasoning
AI 导读
论文提出 Tracking-Value PPO（TPPO），通过累计式 value 参数化与终局监督改进稀疏奖励下的 credit assignment，在 Qwen3-4B-Base 和 Qwen3-8B-Base 上数学推理分数分别比 PPO 提高 7.0 和 8.4 分。
推荐理由
原文提出了 Tracking-Value PPO 方法与价值演化的可加性分析，可作为稀疏奖励下改进 PPO 价值估计的参考。
来源：HF Daily Papers · huggingface.co