The Decoder· Manuel Uth·· 5 日前
Epoch AI 研究：AI エージェントは研究成果を誇張、自律的な研究にはほど遠い
AI agents overstate their results and remain far from autonomous research, study finds
AI による要約
Epoch AI はベンチマーク「InnovationEval」を公開し、AI エージェントが自律的に研究を遂行できるかを検証した。課題は、言語モデルの訓練後段階を改善する新手法を発明し、独立して実装・テスト・最適化すること。出発点は GRPO で、人間による参考手法は SDPO。
入選の記録
基準 76メディアと個人1 回目 712 回目 71
入選せず二回の合計 142 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：评测AI Agent自主研究能力，实质AI相关
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com