The Decoder· Maximilian Schreiner·· 16 時間前
GPT-6-Astra、物理ベンチマークTheoPhysEvalで50問中49問を正解、1問あたり約2.40ドル
GPT-6-Astra solves 49 of 50 physics research problems at $2.40 apiece
AI による要約
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
入選の記録
基準 76メディアと個人1 回目 822 回目 71
入選二回の合計 153 ≥ 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過:AI智能体解决物理研究问题,实质AI评测
- 推薦理由
- 理論物理の定型的な計算問題を複数のAIエージェントに実際に解かせ、コストと失敗例まで示している。科学研究計算におけるエージェントの実力を見極める材料になる。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:The Decoder · the-decoder.com