HF Daily Papers·· 4 天前精选AI 评分38
On-Policy 蒸馏中相对策略差异迁移的重新审视
Rethinking Relative Policy Differences Transfer of On-Policy Distillation
AI 导读
一篇论文研究 On-Policy 蒸馏（OPD）中相对策略差异的迁移条件，提出以代理 expert 与参考策略之间的对数概率比作为 KL 正则策略优化的隐式奖励，可实现跨规模、跨训练阶段、跨生成方式的任意对任意迁移。
推荐理由
论文给出了哪些相对策略差异能有效迁移到目标策略的判定条件，对做 On-Policy 蒸馏的读者具有直接参考价值。
来源：HF Daily Papers · huggingface.co