AWS、vLLMで双方向KV転送を実装しマルチターンAgentのTTFTを最適化
まずはこの出来事を
AI によるまとめ
2026年10月20日、AWS Machine Learning BlogはvLLMに実装した双方向KV転送の仕組みを紹介した。decodeノードが後続のターンで計算済みのKVをprefillノードに返して再利用することで、会話履歴の再計算を避ける。マルチターンのエージェント負荷における初回トークン遅延（TTFT）が課題だ。EFA併用のAmazon EC2 P5enインスタンスによる1P1D構成では、最長プロンプトでQwen3-32BのTTFTが約1.6倍、zai-org/GLM-5-FP8が約3.3倍低下した。現時点でこの報道が唯一の情報源で、他の進展はない。
報道をもとに AI が作成 · 19 時間前に更新
最新の続報10月20日 00:03
AWSのブログがvLLMの双方向KV転送を紹介。マルチターンAgent負荷でTTFTが最大約3.3倍低下。報道の時系列
報道をたどり、出来事のさまざまな面を知る。
10月20日
- AWS Machine Learning BlogAWS、vLLMで双方向KV転送によりマルチターンのエージェント負荷のTTFTを改善
AWSはvLLMに双方向KV転送を実装し、decodeノードが後続のターンで計算済みのKVをprefillノードに返して再利用できるようにし、会話履歴の再計算を避けた。Amazon EC2 P5enインスタンスとEFAを用いた1P1D構成では、最長プロンプト時にQwen3-32BでTTFTが約1.6倍、zai-org/GLM-5-FP8で約3.3倍低下した。
この出来事の注目度の推移
現在の注目度 5·比較範囲のピーク 9（10月20日 03:00）·過去 24 時間の比較範囲での変化 –
推移は、途切れずに観測できた同じ主体どうしだけで比べるため、現在の注目度の集計より範囲が狭いことがあります。ポインタを動かすかグラフをクリックすると 1 時間ごとの注目度が見られます。キーボードでは左右の矢印キーで切り替えられます。