Google DeepMind·· 2026-08-27
Google DeepMind、世界初の二重盲検AI評価を試行
Piloting the world's first double-blind AI evaluations
AI による要約
Google DeepMindは、専有のフロンティア級AIモデルを対象とする世界初の二重盲検評価を発表した。外部評価を暗号技術で隔離した環境に限定し、モデルが事前に試験問題へ接触することを防ぐ。シンガポールのAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、プライバシーを保護した環境で非公開ベンチマークを使いGemini Flash Liteを評価する。
入選の記録
基準 60公式・一次情報1 回目 622 回目 58
入選二回の合計 120 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：双盲AI模型评测，实质AI评测技术
- 推薦理由
- 暗号技術で隔離した環境でのGemini Flash Lite二重盲検評価は、ベンチマーク汚染への技術的な対処方法を示す。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Google DeepMind · deepmind.google