AWS Machine Learning Blog· Sunita Nadampalli·· 7 時間前
AWS、vLLMで双方向KV転送によりマルチターンのエージェント負荷のTTFTを改善
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI による要約
AWSはvLLMに双方向KV転送を実装し、decodeノードが後続のターンで計算済みのKVをprefillノードに返して再利用できるようにし、会話履歴の再計算を避けた。Amazon EC2 P5enインスタンスとEFAを用いた1P1D構成では、最長プロンプト時にQwen3-32BでTTFTが約1.6倍、zai-org/GLM-5-FP8で約3.3倍低下した。
入選の記録
基準 60公式・一次情報1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：vLLM多轮Agent KV传输优化，实质AI技术
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com