HF Daily Papers·· 4 天前精选AI 评分40
DLite:面向智能体 AI 的无历史投机解码方法
DLite: History-free Speculative Decoding for Agentic AI
AI 导读
DLite 提出一种面向智能体 AI 的无历史投机解码框架,在通用、长上下文和智能体工作负载下达到 2–6 的接受长度,相对 DSpark 最高提升 70%。该方法直接复用目标模型的上下文隐藏状态进行局部投机预测,配合轻量级序列头恢复块内因果依赖,并采用专门的两阶段训练策略;原文同时指出智能体负载下现有 draft 模型接受长度最高下降 80%。
推荐理由
原文给出在智能体长上下文场景下 speculative decoding 的实测对比与训练策略,读者可据此评估相对 DSpark 的收益。
来源:HF Daily Papers · huggingface.co