SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知識 · 短い問題の事実正確性

News での扱い順位に反映

根拠の配分4%

元データの時点09/30 06:00

最後に同期に成功10/01 20:05

何をどう測るか

Epochが独自に再実行したmean_scoreのみを採用し、固定の推論ティアを用いる。ECIやBest scoreの集約列は参照しない。

正式に採点。同一問題ファミリーは固定予算を共有する。

固定ルールに従い、各公開モデルは代表的な構成を1つ採用する。匿名テスト型番は表示せず、元のランキング順位を保持し、各項目は最大30件。

元の順位	元のモデル名	元のスコア	代表的な設定
1	gpt-6-astra_maxOpenAI	75.6%	Max 推論
2	gpt-6.1-sol_max—	73.9%	Max 推論
3	gemini-3.1-pro-preview_highGoogle	73.5%	High 推論
4	claude-opus-5-5_maxAnthropic	72.2%	Max 推論
5	claude-fable-5-1_maxAnthropic	70.8%	Max 推論
6	claude-fable-5_xhighAnthropic	70.7%	xHigh 推論
7	gemini-3.8-flash_highGoogle	69.7%	High 推論
7	gpt-5.6-sol_maxOpenAI	69.7%	Max 推論
9	gemini-3.7-flash_highGoogle	69.2%	High 推論
10	gemini-3-flash-preview_highGoogle	66.8%	High 推論
11	gemini-3.6-flash_highGoogle	66.2%	High 推論
11	gemini-3.5-flash_highGoogle	66.2%	High 推論
13	gpt-5.5_xhighOpenAI	63.0%	xHigh 推論
14	gpt-6-sol_maxOpenAI	60.7%	Max 推論
15	muse-spark-1.2_xhighMeta	60.3%	xHigh 推論
16	claude-opus-5_maxAnthropic	59.9%	Max 推論
17	muse-spark-1.1Meta	57.8%	情報源のデフォルト構成
18	qwen3.7-maxAlibaba	55.8%	情報源のデフォルト構成
19	claude-opus-4-8_maxAnthropic	53.0%	Max 推論
20	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 推論
21	qwen3.6-max-previewAlibaba	52.0%	情報源のデフォルト構成
22	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 推論
23	kimi-k3_maxMoonshot AI	50.6%	Max 推論
24	gpt-5-2025-08-07_highOpenAI	50.1%	High 推論
25	o3-2025-04-16_highOpenAI	49.4%	High 推論
27	grok-4.6_xhighxAI	48.9%	xHigh 推論
28	qwen3-max-2025-09-23Alibaba	48.7%	情報源のデフォルト構成
29	grok-4.5_highxAI	48.3%	High 推論
30	gpt-5.1-2025-11-13_highOpenAI	48.0%	High 推論
31	qwen3.8-max-0902_xhighAlibaba	47.3%	xHigh 推論

評価の限界とデータの出典

正式に採点。同一問題ファミリーは固定予算を共有する。

データのライセンス：CC BY 4.0 · Epoch AI 独自評価データ

スコアは Epoch AI が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。