跨分词器策略蒸馏：研究建议优先保证监督可靠性

2026年10月6日，HF Daily Papers发布了一篇关于跨分词器在策略蒸馏（On-Policy Distillation, OPD）的研究。该研究重新审视了跨分词器场景下的策略蒸馏思路，指出传统方法聚焦于最大化对齐覆盖度，但研究建议应转向优先保证监督可靠性。研究包含三项主要发现：第一，将反向KL散度限制在学生模型选出的top-16共享词表子集上时，精度与使用全共享词表的OPD方法相当，且优于现有跨分词器基线；第二，严格的1:1对齐已能覆盖学生生成token的绝大部分，无需追求更宽的对齐范围；第三，在mismatch组中加入span log-prob的MSE监督反而会降低精度，表明一味扩大监督覆盖范围未必有效。基于上述结果，研究呼吁将跨分词器蒸馏的关注点从"对齐覆盖度最大化"调整为"监督可靠性优先"。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。