Heaps do lie：排查 vLLM 内存泄漏
Mistral AI 团队在 Mistral Medium 3.1 的 Prefill/Decode 分离式部署中排查到 vLLM 内存泄漏，系统内存以每分钟 400 MB 线性增长，数小时后触发 out of memory。泄漏仅出现在启用图编译、经 NIXL 传输 KVCache 的 decode 侧，Heaptrack 显示堆内存稳定，问题出在堆外。
全部 AI 动态
全部 AI 动态
今日 1 条1月22日
8月1日
Mistral 如何通过微调 Pixtral-12B 提升卫星图像视觉语言模型表现
Mistral 用 LoRA 微调 Pixtral-12B，在 Aerial Image Dataset（AID）卫星图像分类任务上显著优于未微调基线，并减少了模型幻觉出的无效类别名。微调通过 Mistral 微调 API 或 LaPlateforme UI 完成，无需大量超参数调优，数据集划分为 8,000 训练样本和 2,000 测试样本。
4月9日
Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取加权平均。