HF Daily Papers·· 3 天前精选AI 评分48
掩码扩散语言模型中，什么构成好的解掩码策略？受控研究
What Makes a Good Unmasking Policy? A Controlled Study of Learned Unmasking in Diffusion Language Models
AI 导读
掩码扩散语言模型的受控研究发现，轨迹收缩标签结合置信度与隐藏状态，可形成更优的解掩码策略。低 NFE 下，仅把与最终输出一致的预测标为可提交过于宽松；约 10% 的 NFE 降幅已可抵消最高 7.5M 参数策略的开销。
推荐理由
论文通过受控实验拆解解掩码监督标签与输入特征，为设计兼顾准确率、吞吐量与 NFE 的解掩码策略提供依据。
来源：HF Daily Papers · huggingface.co