AWS Machine Learning Blog· Sunita Nadampalli·· 2 小时前精选AI 评分49
在 vLLM 中通过双向 KV 传输改善多轮智能体工作负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
vLLM 引入双向 KV 缓存传输机制，让 P-D 分离部署中的 decode 节点把保留的 KV 回传给 prefill 复用，从而降低多轮智能体场景的反复预填充开销。
推荐理由
在 1P1D 部署上以 Qwen3-32B 与 GLM-5-FP8 对比双向与单向 KV 传输的 TTFT 数据，读者可据此判断多轮智能体场景下是否值得启用。
来源：AWS Machine Learning Blog · aws.amazon.com