HF Daily Papers·· 3 天前精选AI 评分38
VRSD 通过言语正则化改进大语言模型自蒸馏
Self-Distillation with Verbal Regularization
AI 导读
本文提出 VRSD（带言语正则化的自蒸馏），针对在策略自蒸馏（OPSD）中特权信息导致推理捷径与输出熵骤降的偏差，用系统提示词调节教师模型对特权信息的使用，鼓励反思与探索。
推荐理由
针对自蒸馏中特权信息引发的熵骤降与捷径推理，给出可迁移的提示词正则化方案、理论条件与多模型多任务验证。
来源：HF Daily Papers · huggingface.co