热点事件持续更新
AWS 为 vLLM 贡献推送式 NIXL KV 传输连接器
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AWS 工程师向开源推理引擎 vLLM 贡献了基于推送模式的 NIXL KV 传输连接器，把 prefill 之后的传输协调与准备移到后台线程，以缩短到首个 token 的关键路径。AWS 称，在拆分解码推理部署中使用推送模式可在高负载下降低 TTFT 与 TPOT；拉取模式仍适用于需要负载感知路由的工作负载。 在 EC2 P5en 搭配 EFA 的 1P1D 部署、以 Qwen3-32B 基准测试中，高负载下推送模式的 TTFT 改善最高约为拉取模式的 3 倍，TPOT 改善约 30%。AWS 同时指出，性能结果会随硬件、模型、网络和工作负载配置而变化。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 00:05
vLLM 中基于推送模式的 KV 传输降低拆分解码推理的 TTFT 与 TPOT报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning Blog精选vLLM 中基于推送模式的 KV 传输降低拆分解码推理的 TTFT 与 TPOT
AWS 工程师向开源推理引擎 vLLM 贡献了基于推送模式的 NIXL KV 传输连接器，将传输准备移到后台线程以缩短到首个 token 的关键路径。在 EC2 P5en 搭配 EFA 的 1P1D 部署中以 Qwen3-32B 基准测试，高负载下推送模式 TTFT 最高约为拉取模式的 3 倍，TPOT 改善约 30%；拉取模式仍适用于需要负载感知路由的工作负载。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。