AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分54
vLLM 中基于推送模式的 KV 传输降低拆分解码推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 工程师向开源推理引擎 vLLM 贡献了基于推送模式的 NIXL KV 传输连接器，将传输准备移到后台线程以缩短到首个 token 的关键路径。在 EC2 P5en 搭配 EFA 的 1P1D 部署中以 Qwen3-32B 基准测试，高负载下推送模式 TTFT 最高约为拉取模式的 3 倍，TPOT 改善约 30%；拉取模式仍适用于需要负载感知路由的工作负载。
推荐理由
给出了在 vLLM 中实现 push 模式 KV 传输的架构与复现步骤，读者可在自己的拆分解码部署中参考其后台线程与注册时机设计。
来源：AWS Machine Learning Blog · aws.amazon.com