本文へ移動
評価の出典

MirrorCode

Epoch AI / コーディング · 長時間のソフトウェア再現

公式の評価
News での扱い参考のみ
根拠の配分採点に使わない
元データの時点11/02 22:08
最後に同期に成功11/16 02:05

何をどう測るか

公開データは少数のモデルのみで、実行時間も非常に長い。サンプルと実行条件は分類のコンセンサスを形成するには不十分。

この根拠の使い方

参考のみ。総合スコアやカテゴリスコアには算入しない。

評価結果

固定ルールに従い、各公開モデルは代表的な構成を1つ採用する。匿名テスト型番は表示せず、元のランキング順位を保持し、各項目は最大30件。

元の順位元のモデル名元のスコア代表的な設定
1claude-sonnet-5-5_maxanthropic97.8%Max 推論
2claude-opus-5-5_maxAnthropic95.6%Max 推論
3claude-fable-5-1_maxAnthropic93.3%Max 推論
4claude-opus-5_maxAnthropic87.8%Max 推論
6claude-haiku-5-5_max—78.9%Max 推論
7gpt-6.1-terra_maxOpenAI76.7%Max 推論
9claude-fable-5_maxAnthropic70.0%Max 推論
10claude-opus-4-8_maxAnthropic65.6%Max 推論
11deepseek-v4.1-flash_maxDeepSeek64.4%Max 推論
13claude-sonnet-5_maxAnthropic63.3%Max 推論
14gpt-6.1-sol_max—61.1%Max 推論
15gpt-6-astra_maxOpenAI60.0%Max 推論
16gemini-4-argon_highGoogle58.9%High 推論
17grok-4.7_xhighxAI54.4%xHigh 推論
17kimi-k3_maxMoonshot AI54.4%Max 推論
17muse-spark-1.3_maxMeta54.4%Max 推論
20qwen3.8-max_xhighAlibaba52.2%xHigh 推論
21gpt-6-sol_maxOpenAI48.9%Max 推論
22qwen3.8-max-0902_xhighAlibaba47.8%xHigh 推論
24muse-wonder-1.0_max—45.6%Max 推論
25claude-opus-4-7_maxAnthropic43.3%Max 推論
26grok-4.6_xhighxAI41.1%xHigh 推論
26gpt-5.6-terra_maxOpenAI41.1%Max 推論
26gemini-3.7-flash_highGoogle41.1%High 推論
29mistral-large-4-0_highMistral AI40.0%High 推論
30gemini-3.8-flash_highGoogle38.9%High 推論
31glm-5.2_maxZ.ai36.7%Max 推論
32claude-opus-4-6_maxAnthropic33.3%Max 推論
32deepseek-v4-pro-0813_maxDeepSeek33.3%Max 推論
34grok-4.5_highxAI32.2%High 推論
評価の限界とデータの出典

参考のみ。総合スコアやカテゴリスコアには算入しない。

データのライセンス:CC BY 4.0 · Epoch AI 独自評価データ

スコアは Epoch AI が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。