Import AI· Jack Clark·· 2026-07-27
EpochとMETR、長時間コーディングのMirrorCodeベンチマークを公開
Import AI 466: The bitter lesson for robotics, AIs complete week-long programming tasks; and OpenAI's accidental AI hacker
AI による要約
EpochとMETRは、人なら長時間かかるコーディング課題をAIが完遂する能力を測るMirrorCodeを公開した。4月に初発表し、追加テスト後に正式公開した。
入選の記録
基準 76メディアと個人1 回目 712 回目 71
入選せず二回の合計 142 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：AI模型编程评测、机器人任务与安全事件
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Import AI · importai.substack.com