XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。
Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。