Mistral AI·· 2026-01-22
Heaps do lie:vLLMメモリーリークの調査
Heaps do lie: debugging a memory leak in vLLM.
AI による要約
Mistral AIはMedium 3.1のPrefill/Decode分離配置でvLLMのメモリーリークを調査した。システムメモリーが毎分400MB増え、数時間で不足する。グラフコンパイルを有効化しNIXLでKVCacheを送るdecode側だけに現れた。Heaptrackではヒープが安定しており、問題はヒープ外にあった。
入選の記録
基準 60公式・一次情報1 回目 342 回目 34
入選せず二回の合計 68 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:vLLM推理内存泄漏调试,AI工程实践
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Mistral AI · mistral.ai