AWS Machine Learning Blog· Sunita Nadampalli·· 6 時間前
vLLM が push 型 KV 転送を導入、分離推論の TTFT を最大 3 倍改善
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI による要約
vLLM は push ベースの NIXL connector を追加し、KV 転送の調整と確立の処理を最初のトークンのクリティカルパスから外した。Amazon EC2 P5en クラスタ上の 1P1D 構成で、Qwen3-32B の TTFT が最大 3 倍、TPOT が最大 30% 向上する。
入選の記録
基準 60公式・一次情報1 回目 382 回目 34
入選せず二回の合計 72 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：vLLM大模型推理KV传输优化技术
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com