HF Daily Papers·· 1 天前精选AI 评分41
MRTPO：面向多奖励 RL 的按 token 相关性分配优势方法
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
AI 导读
论文提出 MRTPO，在多奖励强化学习训练中把每个奖励的优势仅分配给其验证器实际检查的相关 token，避免被均匀摊到整个回复上。该方法通过对每个奖励重放带和不带验证器信息的下一 token 分布，以 Jensen-Shannon 距离衡量 token 相关性，无需辅助模型或 token 级标注。
推荐理由
针对多奖励 RL 中优势被均匀分配到全序列的问题，给出可复用的 token 级 credit assignment 思路与实测任务。
来源：HF Daily Papers · huggingface.co