HF Daily Papers·· 7 天前精选AI 评分38
DiffGate：面向 On-Policy 蒸馏的难度门控教师引导方法
DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
AI 导读
DiffGate 提出一种面向 on-policy 蒸馏的训练目标，把 GRPO 与按群体难度筛选的教师监督结合，仅对失败轨迹施加教师引导并做边界裁剪，避免极端师生差异主导优化。
推荐理由
原文给出 DiffGate 目标的具体设计与量化收益，读者可据此判断在小模型后训练中引入难度门控教师引导的迁移价值。
来源：HF Daily Papers · huggingface.co