HF Daily Papers·· 5 天前精选AI 评分43
何时需要 On-Policy 蒸馏？论文称离线学生轨迹蒸馏在多数情况下更优
When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
AI 导读
研究提出 Semi-OPD 方法，用学生模型初始版本的离线 rollout 蒸馏教师能力，在 17 组 1.5B–235B 参数规模的师生配对中 14 组优于传统 On-Policy Distillation，精度最高提升 13.6 个百分点，训练加速 11.4 倍。
推荐理由
论文用 17 组师生配对量化对比 OPD 与 Semi-蒸馏，给出按初始 token 重叠率选择蒸馏策略的依据，可直接用于重新评估既有蒸馏方案。
来源：HF Daily Papers · huggingface.co