XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。
Vals AIの研究者がThinking MachinesのInkling 2 Smallについて、13のベンチマーク、2655回の実行における思考ログを読んだところ、50回の実行で「fuck」およびその変形が出現し、計316回に上った。うち241回は暴走した2回の実行によるものだ。
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
OpenAIは、AIエージェントが生の実験データを解釈し、日常的なウェットラボ科学を処理する能力を測る100タスクのベンチマーク、BioBasicsBenchを公開した。
SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。
ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。
スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
OpenAIは、保育園探しや家計管理、行政書類の手続きなど、人々の日常業務をAIがどれだけ支援できるかを測るベンチマーク「LifeVal」を公開した。
Ai2は研究「Old Ideas, Novel Problems」を公開し、大規模言語モデルが科学研究アイデアの新規性を判断する信頼性を検証した。併せてベンチマーク、データ、コードをオープンソース化した。研究ではICLR 2026の査読意見に基づき、新規性の高い人間のアイデア154件と低い145件からなるプールを構築し、さらにLLMが生成したアイデア154件を用意した。
Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。
Hugging Faceは、採用や融資、医療などの意思決定におけるLLMの集団公平性を測るベンチマークFairStressを公開した。Olmo、Llama、Qwen、Gemma、Claude、GPTシリーズのモデルを対象とする。
研究者らは、長期的なタスクにおける取捨選択の判断を検証する502問の意思決定分岐問題からなるTaste-Benchを提案した。最高性能のGPT-5.6 Solでも正答率は59.7%にとどまり、他のモデルは大きく下回った。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。
推論を無効化した5,070件のケースを用いたベンチマークで、ローカルのQwen3.8-27B-Q4_K_M.ggufモデルが正の整数の足し算を英単語だけで行い、正確な結果を出力できるかを検証した。数値の正確率は23.57%、形式遵守率は96.17%。正確率は桁数が増えるにつれ、1〜3桁の97.04%から10〜13桁の6.44%へと低下した。中程度の推論を有効にすると、169件のペアテストで167件正解した。
GitHubは、AIコードレビューエージェント向けのオープンなオフラインベンチマーク「ReviewBench」を公開した。1億390万件のGitHub pull requestの分布に基づいて構築され、187のオープンソースリポジトリ、19言語にわたる219件のpull requestを含む。
研究チームは Image-to-Code 手法を提案し、コーディングエージェントが 1 枚の写真から実行可能な Blender プログラムを書き、シーンが元画像と一致するまで反復修正する。評価のためチームは LEGO-Bench を構築し、屋内・屋外 104 シーンの 208 枚の画像と 443 の登録アセットを含み、有効性・幾何精度・外観類似度の 3 点で採点する。
Mercor の研究では、平均実務経験 5 年半の公認会計士 12 名が APEX Accounting Benchmark の簡略化タスクを実施。その結果、AI モデルは構造化された記帳タスクで会計士より速く、正確で、コストも低いことが示された。
Hugging Face は、客観的指標でオープンソース TTS モデルを評価する Open TTS Leaderboard を公開し、数週間の投票による評価を数時間に短縮する。Qwen3 ASR で WER/CER を算出し、H200 GPU で RTFx と TTFA を測定、WavLM 埋め込みで話者類似度 SIM を求め、多言語と音声クローンの比較に対応する。
OpenAIは専門家と構築したMentalHealthBenchを公開した。実際のメンタルヘルスの会話におけるAIの回答が有益で安全かを評価する。
英国AI Security Institute(AISI)は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。
Voice Arena と Hugging Face は Open ASR Leaderboard に Monsoon en-IN と Monsoon hi-IN を追加した。Hindi はこの多言語ランキング初のインド言語となる。
METR の研究では、AI の科学的発見への影響は一様でない。2026年の脆弱性報告は2025年より大幅に速く、数学はわずかな加速にとどまり、AI 研究自体のアルゴリズム進歩には有意な加速がない。複数大学のチームは LLM が実行可能な訓練環境の生成と解法を交互に行う SPADE を提案した。Qwen3-30B-A3B のゲーム環境平均点は58.3で、基準より8.1上がった。
Hugging Face は、音声認識のベンチマーク最適化を数値化するため、合意不一致プローブ、マスクした固有表現の検索、綴りの切り替えという三つのテストを提案した。11のオープンソース ASR モデルを評価し、一部の高得点モデルは音声が矛盾する場合、該当語が無音の場合、両方の表記が音声上成立する場合でも、VoxPopuli や LibriSpeech の正解転写の誤りを再現することを見つけた。
Import AI 469は、ルールと目標を隠し、対話的探索で発見する70ゲームのDiG-benchを紹介した。Claude Codeと組み合わせたOpus 5とFable 5が最良で、この2モデルだけがTier 7の一部を攻略した。人は100%攻略できる。
Microsoft Research は、接続、閉鎖、順序、分離、結び目の五つの位相関係の推論・計画を評価する MindTopo を公開した。現モデルは静止画認識が対話的計画より明らかに強く、失敗は知覚より計画で起こり、全体に人間を大幅に下回る。画像・動画生成は単一フレームで構造関係を保つ場合のみ有用で、複数操作後は位相を変えたり制約を破ったりしやすい。
Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95~98%を記憶していたが26~34%を直接想起できず、思考ありでも11~12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。
EpochとMETRは、人なら長時間かかるコーディング課題をAIが完遂する能力を測るMirrorCodeを公開した。4月に初発表し、追加テスト後に正式公開した。
Humeは音声評価ベンチマークReal World VoiceEQを公開した。40超の専有・オープンソース音声モデル、15以上の評価軸、60超の指標を扱い、ASR、TTS、S2S、音声理解を対象とする。
Hugging FaceはSpring、Jakarta EE、Quarkus間の企業Javaアプリ移行を評価するScarfBench(Self-Contained Application Refactoring Benchmark)を公開した。
Google は、高校生・大学生の問題解決や協働を生成 AI の模擬対話で評価する研究実験 Vantage を公開した。Google Labs で英語の登録を受け付ける。Executive LLM が会話を動的に進め、AI Evaluator が評価表で採点する。NYU との米国18~25歳188人の研究では、AI と専門家の採点一致度は専門家同士に近かった。
Google Researchは衣料品購入の4000以上の人・機械の複数ターン会話、約15000ターンのConvApparelを公開した。LLM利用者シミュレーターと人の現実感の差を測る。
Google ResearchはIRI、ERQなどの心理質問票を改変した状況判断テスト(SJT)で、実際のユーザー・助手の場面の行動傾向が人の共通認識に合うか評価する枠組みを提案した。
Google Research は『Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation』で評価項目数と項目ごとの注釈者数を比較した。一般的な1人、3人、5人では足りないことが多く、人の意見の違いを反映するには10人超が必要な場合が多い。
GoogleとCornellはGPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM、独自RAGに高温超伝導の専門問題67問を解かせた。12人の国際専門家がバランス、網羅性、簡潔性、証拠、画像の関連性、定性的意見の6指標で盲検評価した。研究はPNASに掲載された。