AWS Machine Learning Blog· Sunita Nadampalli·· 6 小时前
AWS 在 vLLM 中用双向 KV 传输改善多轮智能体负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 在 vLLM 中实现双向 KV 传输，让 decode 节点在后续轮次把已算好的 KV 返回 prefill 节点复用，避免重复计算对话历史。在 Amazon EC2 P5en 实例加 EFA 的 1P1D 部署上，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
入选记录
门槛 60官方一手第一次 58第二次 58
未入选两次之和 116 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：vLLM多轮Agent KV传输优化，实质AI技术
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com