跳到正文
原文
Mistral AI·· 2026-01-22

Heaps do lie:排查 vLLM 内存泄漏

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离式部署中排查到 vLLM 内存泄漏,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。泄漏仅出现在启用图编译、经 NIXL 传输 KVCache 的 decode 侧,Heaptrack 显示堆内存稳定,问题出在堆外。

入选记录

未入选两次之和 68 < 门槛的两倍 120

信源等级
官方一手,这一级的门槛是 60 分
预筛
通过:vLLM推理内存泄漏调试,AI工程实践

评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。

来源:Mistral AI · mistral.ai