HF Daily Papers·· 4 天前精选AI 评分36
SynthSelf：通过合成自蒸馏实现小模型的持续后训练
Continually Post-training Small Models via Synthetic Self-distillation
AI 导读
论文提出 SynthSelf 方法，利用同族稍大的对齐模型为小模型生成 in-distribution 监督信号，配合 off-policy 监督与拒绝采样，缓解持续后训练中能力获取与遗忘的矛盾。在 4 个获取数据集、14 个保留基准与 3 个小模型规模上均优于 6 种基线方法。
推荐理由
针对小模型持续后训练的能力获取与遗忘权衡，给出可由同族稍大模型蒸馏出的 in-distribution 监督方案，并把方法在多基准、多模型规模上做了对照。
来源：HF Daily Papers · huggingface.co