評価の出典公式の評価
Chess Puzzles
Epoch AI / 推論 · 文字で示された盤面から正しい着手を探す
News での扱い順位に反映
根拠の配分1.8%
元データの時点09/30 06:00
最後に同期に成功10/01 20:05
何をどう測るか
生成された棋局は Stockfish の標準解答で採点する。入力は棋局テキストであり、視覚理解には分類しない。
この根拠の使い方
正式に採点。同一問題ファミリーは固定予算を共有する。
評価結果
固定ルールに従い、各公開モデルは代表的な構成を1つ採用する。匿名テスト型番は表示せず、元のランキング順位を保持し、各項目は最大30件。
| 元の順位 | 元のモデル名 | 元のスコア | 代表的な設定 |
|---|---|---|---|
| 1 | gpt-6-astra_maxOpenAI | 72.0% | Max 推論 |
| 4 | gemini-3.8-flash_highGoogle | 61.0% | High 推論 |
| 4 | gpt-6.1-sol_max— | 61.0% | Max 推論 |
| 6 | gpt-5.4-pro-2026-03-05_xhighOpenAI | 58.6% | xHigh 推論 |
| 7 | gpt-5.6-sol_maxOpenAI | 55.0% | Max 推論 |
| 9 | gpt-5.6-terra_maxOpenAI | 54.0% | Max 推論 |
| 11 | gemini-3.5-flash_highGoogle | 50.0% | High 推論 |
| 12 | gpt-5.2-2025-12-11_xhighOpenAI | 49.0% | xHigh 推論 |
| 12 | gemini-3.1-pro-preview_highGoogle | 49.0% | High 推論 |
| 14 | deepseek-v4-pro-0813_maxDeepSeek | 47.0% | Max 推論 |
| 14 | gemini-3.7-flash_highGoogle | 47.0% | High 推論 |
| 14 | claude-fable-5-1_maxAnthropic | 47.0% | Max 推論 |
| 18 | gpt-5.4-2026-03-05_xhighOpenAI | 44.0% | xHigh 推論 |
| 21 | claude-opus-5_maxAnthropic | 42.0% | Max 推論 |
| 22 | claude-fable-5_maxAnthropic | 41.0% | Max 推論 |
| 24 | gemini-3-flash-preview_highGoogle | 40.0% | High 推論 |
| 24 | qwen3.8-max-0902_xhighAlibaba | 40.0% | xHigh 推論 |
| 24 | gemini-3.6-flash_highGoogle | 40.0% | High 推論 |
| 24 | gpt-5.6-luna_maxOpenAI | 40.0% | Max 推論 |
| 31 | kimi-k3_maxMoonshot AI | 39.0% | Max 推論 |
| 32 | muse-spark-1.3_maxMeta | 38.0% | Max 推論 |
| 37 | gpt-5-2025-08-07_highOpenAI | 37.0% | High 推論 |
| 38 | grok-4.5_highxAI | 36.0% | High 推論 |
| 42 | o3-2025-04-16_highOpenAI | 34.0% | High 推論 |
| 42 | claude-opus-4-8_maxAnthropic | 34.0% | Max 推論 |
| 44 | deepseek-v4-flash-0731_maxDeepSeek | 33.0% | Max 推論 |
| 46 | gpt-5.1-2025-11-13_highOpenAI | 32.0% | High 推論 |
| 47 | gemini-3-pro-previewGoogle | 31.0% | 情報源のデフォルト構成 |
| 47 | grok-4.6_xhighxAI | 31.0% | xHigh 推論 |
| 49 | gpt-5-mini-2025-08-07_highOpenAI | 30.0% | High 推論 |
評価の限界とデータの出典
正式に採点。同一問題ファミリーは固定予算を共有する。
データのライセンス：CC BY 4.0 · Epoch AI 独自評価データ
スコアは Epoch AI が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。