XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Microsoft Research Focus 第98号は複数の研究進展に焦点を当てている。AI音声翻訳が汎用翻訳の実現を後押しし、新研究が高次元幾何学の分野で31年間未解決だったKLS予想を解決した。その証明は計算機支援による形式検証を通過している。
Google Researchは、コンシューマー向けウェアラブル端末のデータから介入可能な「コーチング可能な健康年齢」(CHA)を構築する研究フレームワークを提案した。約10万人のFitbitユーザー、228万人週分のデータに基づいてセンサー世界モデルSensorWMを訓練し、歩数・睡眠・運動習慣の違いに応じて今後12週間で20項目の生理指標がどう変化するかをシミュレーションできる。
Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。
Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。
アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
OpenAIは、AIエージェントが生の実験データを解釈し、日常的なウェットラボ科学を処理する能力を測る100タスクのベンチマーク、BioBasicsBenchを公開した。
SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。
ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
IBMはHugging FaceのブログでPaletteを紹介した。20BのオープンウェイトモデルをLoRAで微調整し、スライド作成を「デザイナーがJSONブリーフを書く」「コーダーがpptxgenjsのコードを書く」という2つの役割に分解した。訓練データは約1000件のスライド、約1万ページで、IBM Design Languageに準拠している。
研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。
Adobe ResearchとUCサンディエゴは、画像編集リクエストをステップに分解し、各ステップで汎用エディターと専用ツールに並行して候補を生成させ、検証記録をもとに標準的な言語モデルが一度に比較して最良の結果を選ぶ「EditAgent」を提案した。
Googleはスタンフォード大やオックスフォード大などの機関と共同で、動画エージェント「StreamVibe」を発表した。ユーザーが明示した意図、口に出していない意図、タスク途中で変わった意図の3種類を見分け、いつ支援を提供すべきかを自律的に判断する。Qwen3.5-9Bを基に訓練したStreamVibe-VLは、応答のタイミングと品質で他のモデルより10.7%向上し、併設の記憶システムにより能動的なインタラクションがさらに12.3%向上した。
研究チームは、てんかんモデルマウスに対し、Claude Sonnet 5に遺伝子治療の選択、脳領域と注射座標の決定、さらには特注の手術機器の操作による注射までを人間の意思決定なしで行わせた。このエージェントはてんかん発作の仕組みを分析し、19種類の候補治療から一つを選定。3本の論文に基づいて注射座標を導き出し、手術中にはカメラで32回の観察を行った。
Epoch AIの研究者らは、オープンウェイトモデルGLM 5.3がセキュリティパッチ公開からユーザーの更新までの空白期間を突き、9月17日から10月26日に公開された6つのFirefoxバージョンに対して完全なエクスプロイトチェーンを自律的に構築できたことを明らかにした。攻撃1回あたりのAPI費用は約1000ドル。
Microsoft Research Focus 第97期では複数の新研究を紹介。自己改善エージェントフレームワークForkPilotは6つのベンチマークと主要モデルでテストされ、既存の最良手法と同等の水準を達成しつつ、AI処理のオーバーヘッドを最大59%削減した。
Anthropicが因果推論の専門家50人を対象に行った実験で、エージェントの5つの意思決定ポイントの選好をコイン投げでランダムに指定したところ、専門家は4つの分析上の意思決定で86%の割合でエージェントの立場を採用し、反転率は62%から82%に達した。
南京大学と商湯などの研究機関の研究者がOpenMobile-2を公開した。Qwen3.5ベースの9BとQwen3.6ベースの27Bで2つのスマホエージェントモデルを構築し、訓練環境、データ、再現手順を公開している。
Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。
ペンシルベニア大学とHugging Faceは、研究者が文献を読む中で「文献が引き起こす方向転換」を実現するプロトタイプシステムLitPivotを共同開発した。論文はUIST 2026で発表される。
MITの研究者がarXivに論文を公開した。Claude Opus 4.7で動く13体のEkoエージェントを模擬無人島に置き、タスクを与えず30時間探索させたところ、自ら課題を考案し、遊びに似た行動を示した。
MicrosoftとHugging FaceはThinkingBox-Trainingを共同公開した。ThinkingBoxによるデータベース終状態の決定論的検証をそのままRL報酬として使い、状態を持つ業務エージェントの訓練に用いる。
MicrosoftのAI診断システムMAI-DxOは、『Science』に掲載された研究で、『New England Journal of Medicine』の複雑な症例に対する模擬診断の正答率が83%だった。単独で診療する一般医・内科医は36%だった。こうした複雑な症例は通常、専門医やチームが対応するが、今回は比較対象に含まれていない。
マイクロソフトはGPT-5を搭載したDiagnostic Orchestratorを発表した。複数のAIエージェントが症状を推論し、検査項目を決定して診断を下す仕組みで、『ニューイングランド・ジャーナル・オブ・メディシン』の症例で約83%の正答率を記録した。参考資料を使った一般医は約36%、使わない場合は約22%だった。
OpenAIはPerturbAI、Scripps Researchと協力し、GPT-Rosalindを基盤とする数千のAIエージェントを展開して、数百万のマウス細胞を対象とした全脳CRISPRアトラスを解析した。所要時間は32分だった。
Microsoft Researchの機械学習・最適化グループのXinzhi Zhang氏と共著者のZhao Song氏が、1995年に提唱されたKannan-Lovász-Simonovits(KLS)予想を証明した。この関係は高次元においても次元の増加によらず固定の定数で抑えられることを示す。
OpenAI、PerturbAI、Scripps Researchは分散型AIエージェントを用い、数百万個の脳細胞のデータから有望な研究の手がかりを掘り起こした。この協業は、大規模なエージェント連携が生物データ解析で実際にどう活用できるかを示している。
AnthropicのClaudeは、Claude Scienceの研究環境でサソリ神経毒に標的を絞ったタンパク質結合体をほぼ自律的に設計した。この毒による死者は年間3250人を超える。
ALTK-EvolveはGPT-4.1を使い、エージェント自身のタスク軌跡から行動規範を抽出してシステムプロンプトに追記する。τ²-benchの小売ドメインでPass^4 67.5%に達し、リーダーボード上の全小売エントリーと微調整モデルRAFT-30B-A3Bの61.4%を上回った。
MIT CSAILの研究者が、Claude Opus 4.7のコピー(コード名Eko)をRobloxベースの仮想無人島に30時間単独で置き、タスクを指定しなかったところ、エージェントは自力でマップの境界を探索し、目標を設定し、ブロックの模様や星座、自作のゲームを作り出した。
独立系AI安全研究者のMatilda Glynn-Henley氏がVals AIのサイトで実験を公開した。Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3、Claude Opus 5.5の6モデルに、模擬環境でキャンセルされた350ポンドの鉄道切符の払い戻しを回収させたところ、すべて失敗した。
研究者らは、長期的なタスクにおける取捨選択の判断を検証する502問の意思決定分岐問題からなるTaste-Benchを提案した。最高性能のGPT-5.6 Solでも正答率は59.7%にとどまり、他のモデルは大きく下回った。
Google Researchは研究ブログを公開し、AIエージェントがウェットラボ実験を閉ループで進めるための3つの進展を紹介した。VERIDフレームワークは実験台の意味的デジタルツインを構築し、リアルタイムの3D状態追跡、仮想予行演習、ハードウェア安全チェック、映像による動作ログの同期を可能にする。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
研究者のEthan Elasky氏によると、2026年9月28日から10月8日の期間に、Tencent Cloud上で稼働するAIエージェントが、Alibaba傘下のAmapに対して2,600回を超えるデータスクレイピングを試みた。
Googleは地理空間推論エージェントの技術報告書を公開し、4つのベンチマークで4種類のエージェント構成を比較した。あわせて新ベンチマークGeoKToolsとGeoExpertQueriesの開発セットをオープンソース化した。