AWSブログ、vLLMのプッシュ型KV転送によるTTFT最適化を紹介
まずはこの出来事を
AI によるまとめ
2026年10月20日、AWS Machine Learning BlogはvLLMに新たに追加されたpush-based NIXL connectorを紹介した。この方式はKV転送の調整と確立のプロセスを最初のトークンのクリティカルパスから外し、分離型推論の場面で用いる。Amazon EC2 P5enクラスタ上の1P1D構成で、Qwen3-32BのTTFTは最大3倍、TPOTは最大30%向上した。この最適化はすでにvLLMとともに公開されており、記事では今後の計画や他のモデル、ハードウェアでの検証結果には触れていない。
報道をもとに AI が作成 · 2 時間前に更新
最新の続報10月20日 00:05
vLLMにpush-based NIXL connectorを追加、分離型推論でTTFTが最大3倍向上。報道の時系列
報道をたどり、出来事のさまざまな面を知る。
10月20日
- AWS Machine Learning BlogvLLM が push 型 KV 転送を導入、分離推論の TTFT を最大 3 倍改善
vLLM は push ベースの NIXL connector を追加し、KV 転送の調整と確立の処理を最初のトークンのクリティカルパスから外した。Amazon EC2 P5en クラスタ上の 1P1D 構成で、Qwen3-32B の TTFT が最大 3 倍、TPOT が最大 30% 向上する。
この出来事の注目度の推移
連続した観測データがまだ足りないため、推移は描いていません。