Google、Gemini 4 Hydrogenを公開 発表から4週間で大型のArgonをベンチマークで上回る
Googleは開発者と一般ユーザー向けの汎用モデルGemini 4 Hydrogenを公開した。Artificial Analysisのインテリジェンス指数でデフォルトのhigh設定が51点、xhigh設定が54点となり、Gemini 4 Argonの50点を上回った。
評価・ベンチマーク
すべてのトピックどのモデルが強いのか：ベンチマークの成績、評価方法をめぐる論争、ランキングの変化を継続して記録。
最新の精選
1–20 件目 · 全 21 件11月13日
Google、Gemini 4 Hydrogenを発表 3.8 Flashを正式に置き換え
GoogleはGemini 4 Hydrogenを公開し、自社製品でGemini 3.8 Flashを置き換えた。以前のArgonやCarbonの発表時よりアクセス制限が緩く、公開と同時に利用可能となっている。
11月12日
AWS、AIエージェントのクローズドループ評価を可能にするUAEFをオープンソース化
AWSはオープンソースフレームワークUAEFを公開した。アダプターでLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore、Langfuseの実行トレースをAgentTraceに統一し、7次元36項目の組み込み指標で採点する。
11月10日
Anthropic、Claude Fable 5.2とMythos 5.2を発表しLLM首位を奪還
AnthropicはClaude Fable 5.2とClaude Mythos 5.2を発表した。Artificial Analysis Intelligence Index v5で65点を記録して首位に返り咲き、Gemini 4 Carbonの60点、Opus 5.5の59点を上回った。
Anthropic、Claude Fable 5.2とMythos 5.2を発表 IPO前に性能首位へ返り咲き
AnthropicはClaude Fable 5.2とMythos 5.2を発表した。両モデルは同じモデル基盤を共有し、違いはアクセス権限にある。Fableは全ユーザー向けでサイバーセキュリティや生物分野のリスクタスクを遮断し、Mythosは一部の制限を外し、Anthropicのサイバーセキュリティまたはライフサイエンス検証プログラムを通過した組織にのみ開放する。
11月8日
Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
11月7日
9つのAIエージェントが米国立研究所の未解決問題に挑戦、専門家の基準に達したものはゼロ
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
11月4日
同一モデルでハーネスを比較：CUGA、Hermes、Deep AgentsをAppWorldで検証
IBMのチームは、同一のオープンウェイトモデルGLM-5.3-flashを使い、AppWorldの90タスクでCUGA、Hermes、Deep Agentsを比較した。タスク通過率はそれぞれ81.1%、46.7%、30.0%、シナリオ全体の通過率は66.7%、26.7%、6.7%だった。
10月29日
Gemini 4 Carbon、複数のランキングで首位 サイバー防御担当者向けに先行公開
Google DeepMindはArgonからわずか2週間でGemini 4 Carbonを発表した。Artificial Analysis Intelligence Index v5で59点を獲得して1位となり、HLE-Diamond、TB-Science、AA-Omniscience、AutomationBenchの4評価でも首位に立っている。
Google DeepMind、Argonからわずか2週間でGemini 4 Carbonを発表
Google DeepMindはArgonの発表から2週間後にGemini 4 Carbonを投入した。Artificial Analysis Intelligence Index v5.0で59点を記録して首位に立ち、前世代のArgonは50点にとどまる。
10月15日
GPT-6-Astra、物理ベンチマークTheoPhysEvalで50問中49問を正解、1問あたり約2.40ドル
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問（98%）を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
10月8日
Anthropic が Claude Haiku 5.5 を発表、価格は GPT-6 Luna に合わせる
Anthropic が高速・低価格モデル Claude Haiku 5.5 を発表した。価格は 100 万トークンあたり入力 0.10 ドル、出力 0.50 ドルで、先月 OpenAI が発表した GPT-6 Luna と同じだが、100,000 トークンを超えると 0.50/2.50 ドルに上がる。
10月1日
Google、Gemini 4 Argonを発表 OpenAIとAnthropicとの差を縮めるも明確なリードはならず
Googleは新たなフロンティアモデルGemini 4 Argonを発表した。一部のベンチマークではOpenAIやAnthropicの競合製品を上回るが、明確なリードは得ていない。このモデルはまずFairwindプログラムの「信頼できるサイバー防御者」とGoogle社内チームに公開され、その後開発者、企業、消費者向けに提供される予定で、日付は未公表。導入価格は入力トークン100万あたり2ドル、出力トークン100万あたり10ドルで、キャッシュ入力は95%安い。
9月29日
Anthropic、Claude Sonnet 5.5を公開
AnthropicはClaude Sonnet 5.5を公開した。公式説明では30%以上高速で、多くの業務の費用は最大30%下がり、料金はSonnet 5と同じだが、全ベンチマークでSonnet 5を上回る。
9月23日
AnthropicがClaude Opus 5.5、OpenAIがGPT-6 SolとGPT-6 Lunaを公開
AnthropicがClaude Opus 5.5を公開し、約1時間後にOpenAIがGPT-6 SolとGPT-6 Lunaを公開した。GPT-6 SolとLunaの料金はいずれも対応するGPT-5.6モデルの半額である。
8月28日
Open ASR Leaderboard、グローバルサウスの言語を初めて扱う Monsoon 評価データを追加
Voice Arena と Hugging Face は Open ASR Leaderboard に Monsoon en-IN と Monsoon hi-IN を追加した。Hindi はこの多言語ランキング初のインド言語となる。
8月27日
Google DeepMind、世界初の二重盲検AI評価を試行
Google DeepMindは、専有のフロンティア級AIモデルを対象とする世界初の二重盲検評価を発表した。外部評価を暗号技術で隔離した環境に限定し、モデルが事前に試験問題へ接触することを防ぐ。シンガポールのAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、プライバシーを保護した環境で非公開ベンチマークを使いGemini Flash Liteを評価する。
8月21日
Hugging Face 研究、音声認識のベンチマーク最適化をどう測るか
Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。
8月4日
Microsoft Research、Orchardをオープンソース化、Orchard-SWEがSWE-bench Verifiedで69.7%
Microsoft ResearchはオープンソースのOrchardフレームワークを公開した。中心はKubernetes環境サービスOrchard Envで、タスク間で環境、データパイプライン、評価手順を再利用し、Codex、OpenClaw、ZeroClawなどの実際の配置フレームワーク内で直接エージェントを学習できる。
7月15日
Hume、音声AIの人間的品質を測るReal World VoiceEQを公開
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。