HF Daily Papers·· 3 天前精选AI 评分54
SPOT：通过提交顺序预测增强扩散语言模型的推测解码
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
AI 导读
SPOT通过预测扩散语言模型的token生成顺序并并行验证候选，在保持精确解码的同时最多减少6.8倍目标模型推理轮次。其0.62M参数模型仅读取目标模型的输出分布，预测顺序并提出候选续写树，由目标模型在单次推理中按状态相等性验证，共享Gumbel噪声使验证在任意温度下保持精确。
推荐理由
SPOT以0.62M参数模型预测token生成顺序并构造候选树，在保持精确解码的同时最多减少6.8倍目标模型推理轮次。
来源：HF Daily Papers · huggingface.co