AWS Machine Learning Blog· Sunita Nadampalli·· 6 小时前
vLLM 推出 push 模式 KV 传输：分离式推理 TTFT 最高提升 3 倍
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 新增 push-based NIXL connector，把 KV 传输的协调与建立过程移出首 token 关键路径，在 Amazon EC2 P5en 集群的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 提升最多 30%。
入选记录
门槛 60官方一手第一次 38第二次 34
未入选两次之和 72 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：vLLM大模型推理KV传输优化技术
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com