Mistral AI·· 2025-04-09
Mistral 如何用 LLM as a Judge 评估 RAG 系统
Evaluating RAG with LLM as a Judge
AI 导读
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取加权平均。
入选记录
门槛 60官方一手第一次 38第二次 22
未入选两次之和 60 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：Mistral官方讲LLM评估RAG系统
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Mistral AI · mistral.ai