HF Daily Papers·· 2 天前精选AI 评分43
CALIF：诊断并修正可验证指令跟随中的奖励作弊
Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
AI 导读
论文针对可验证指令跟随基准在强化学习中引发的奖励作弊问题，提出 CALIF 方法，将验证器奖励与基于冻结参考策略的校准似然奖励相加，无需额外评判器或学习得到的奖励模型。在 1.7B 到 8B 规模的推理与非推理模型上，CALIF 在 IFBench 上提升约束满足率并把响应质量维持在与 RL 前相当或更高的水平，在三个评分式指令跟随基准的 45 项模型-指标对比中有 40 项优于对应基座策略。
推荐理由
针对可验证指令跟随基准中的奖励作弊现象，给出一种在不引入额外奖励模型的前提下兼顾约束满足与响应质量的训练方法。
来源：HF Daily Papers · huggingface.co