HF Daily Papers·· 5 天前精选AI 评分38
DCOCO:面向投机解码的并行草稿上下文纠错方法
Contextual Correction of Parallel Draftsfor Speculative Decoding
AI 导读
该论文提出 DCOCO(DFlash Contextual Corrector),一种在投机解码中恢复草稿块内 token 依赖关系同时保持并行草稿的轻量机制。在四种验证器主干与十个基准测试中,DCOCO 在所有配置下均取得领先的平均吞吐量,相对普通解码可达 6.6 倍加速;在 4–32 并发请求下其速度较最强竞品提升 6–23%,而其他串行纠错器在高负载下低于未纠错的 DFlash。
推荐理由
论文在四种验证器与十个基准上对比了吞吐量与并发表现,给出相对普通解码的 6.6 倍加速,可作为投机解码方案选型的参考。
来源:HF Daily Papers · huggingface.co