Mistral AI·· 2026-01-22
Heaps do lie:排查 vLLM 内存泄漏
Heaps do lie: debugging a memory leak in vLLM.
AI 导读
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离式部署中排查到 vLLM 内存泄漏,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。泄漏仅出现在启用图编译、经 NIXL 传输 KVCache 的 decode 侧,Heaptrack 显示堆内存稳定,问题出在堆外。
入选记录
门槛 60官方一手第一次 34第二次 34
未入选两次之和 68 < 门槛的两倍 120
- 信源等级
- 官方一手,这一级的门槛是 60 分
- 预筛
- 通过:vLLM推理内存泄漏调试,AI工程实践
评分由模型按同一份标准独立打两次,满分 100;两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源:Mistral AI · mistral.ai