SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知識 · 短い問題の事実正確性

News での扱い順位に反映

根拠の配分4%

元データの時点11/06 09:14

最後に同期に成功11/16 02:05

何をどう測るか

Epochが独自に再実行したmean_scoreのみを採用し、固定の推論ティアを用いる。ECIやBest scoreの集約列は参照しない。

正式に採点。同一問題ファミリーは固定予算を共有する。

固定ルールに従い、各公開モデルは代表的な構成を1つ採用する。匿名テスト型番は表示せず、元のランキング順位を保持し、各項目は最大30件。

元の順位	元のモデル名	元のスコア	代表的な設定
1	claude-fable-5-2_maxAnthropic	94.0%	Max 推論
2	gemini-4-carbon_highgoogle	77.7%	High 推論
3	gemini-4-argon_highGoogle	76.0%	High 推論
4	gpt-6-astra_maxOpenAI	75.6%	Max 推論
5	gpt-6.1-sol_max—	73.9%	Max 推論
6	gemini-3.1-pro-preview_highGoogle	73.5%	High 推論
7	claude-opus-5-5_maxAnthropic	72.2%	Max 推論
8	claude-fable-5-1_maxAnthropic	70.8%	Max 推論
9	claude-fable-5_xhighAnthropic	70.7%	xHigh 推論
10	gemini-3.8-flash_highGoogle	69.7%	High 推論
10	gpt-5.6-sol_maxOpenAI	69.7%	Max 推論
12	gemini-3.7-flash_highGoogle	69.2%	High 推論
13	gemini-3-flash-preview_highGoogle	66.8%	High 推論
14	gemini-3.6-flash_highGoogle	66.2%	High 推論
14	gemini-3.5-flash_highGoogle	66.2%	High 推論
16	gpt-5.5_xhighOpenAI	63.0%	xHigh 推論
17	kimi-k3.1-pro-together_maxMoonshot	62.2%	Max 推論
18	gpt-6-sol_maxOpenAI	60.7%	Max 推論
19	muse-spark-1.2_xhighMeta	60.3%	xHigh 推論
20	claude-opus-5_maxAnthropic	59.9%	Max 推論
21	muse-spark-1.1Meta	57.8%	情報源のデフォルト構成
22	gpt-6.1-terra_maxOpenAI	57.3%	Max 推論
23	Muse-Spark-Open-816B-A42B_xhighMeta AI	56.6%	xHigh 推論
24	grok-4.7_xhighxAI	56.0%	xHigh 推論
25	qwen3.7-maxAlibaba	55.8%	情報源のデフォルト構成
26	claude-opus-4-8_maxAnthropic	53.0%	Max 推論
27	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 推論
28	qwen3.6-max-previewAlibaba	52.0%	情報源のデフォルト構成
29	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 推論
30	kimi-k3_maxMoonshot AI	50.6%	Max 推論

評価の限界とデータの出典

正式に採点。同一問題ファミリーは固定予算を共有する。

データのライセンス：CC BY 4.0 · Epoch AI 独自評価データ

スコアは Epoch AI が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。