推测解码为何能加快GPU推理

gmays 发布的技术讲解称，推测解码在 GPU 上变快并非因为减少了每个 token 的工作量，而是因为低批量场景下用更多总 FLOPs 填补了 GPU 的空闲算力。其做法是由小型草稿模型先提出一段 token，再由大模型在一次前向传播中并行验证，用同一序列的"深度"替代多序列的"广度"。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。