Google Research·· 2026-04-01
Google Research、AI 評価の注釈者は何人必要か
Building better AI benchmarks: How many raters are enough?
AI による要約
Google Research は『Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation』で評価項目数と項目ごとの注釈者数を比較した。一般的な1人、3人、5人では足りないことが多く、人の意見の違いを反映するには10人超が必要な場合が多い。
入選の記録
基準 60公式・一次情報1 回目 312 回目 31
入選せず二回の合計 62 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：研究AI基准测试中评分者数量与可复现性
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Google Research · research.google