Google Research·· 2026-04-01
Google Research 研究：AI 评测需要多少标注者才够？
Building better AI benchmarks: How many raters are enough?
AI 导读
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，反映人类意见分歧常需超过 10 名。
入选记录
门槛 60官方一手第一次 31第二次 31
未入选两次之和 62 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：研究AI基准测试中评分者数量与可复现性
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Google Research · research.google