跳到正文
原文
HF Daily Papers·· 4 天前精选AI 评分40

DLite:面向智能体 AI 的无历史投机解码方法

DLite: History-free Speculative Decoding for Agentic AI

AI 导读

DLite 提出一种面向智能体 AI 的无历史投机解码框架,在通用、长上下文和智能体工作负载下达到 2–6 的接受长度,相对 DSpark 最高提升 70%。该方法直接复用目标模型的上下文隐藏状态进行局部投机预测,配合轻量级序列头恢复块内因果依赖,并采用专门的两阶段训练策略;原文同时指出智能体负载下现有 draft 模型接受长度最高下降 80%。

推荐理由

原文给出在智能体长上下文场景下 speculative decoding 的实测对比与训练策略,读者可据此评估相对 DSpark 的收益。

来源:HF Daily Papers · huggingface.co