XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Microsoft Research Focus 第98号は複数の研究進展に焦点を当てている。AI音声翻訳が汎用翻訳の実現を後押しし、新研究が高次元幾何学の分野で31年間未解決だったKLS予想を解決した。その証明は計算機支援による形式検証を通過している。
OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。
Google Researchは、コンシューマー向けウェアラブル端末のデータから介入可能な「コーチング可能な健康年齢」(CHA)を構築する研究フレームワークを提案した。約10万人のFitbitユーザー、228万人週分のデータに基づいてセンサー世界モデルSensorWMを訓練し、歩数・睡眠・運動習慣の違いに応じて今後12週間で20項目の生理指標がどう変化するかをシミュレーションできる。
Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。
Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。
Google DeepMindは、先ごろ公開したWeatherNext 3モデルの重要なデータ源となるSatWeaveとPARDIGの2つのデータセットを公開した。
BAIRは11月9~12日にAustinで開催されるCoRL 2026で、メイン会議の論文33本、Late-breakingポスター4本、oral/spotlight 10件(oral 3件、spotlight 7件)を発表する。
ElithとNVIDIAは、オープンソースのペルソナデータセットNemotron-Personas-Japanの金融分野向け拡張版であるNemotron-Personas-Finance-Japanを公開した。日本の公式統計と家計金融・金融リテラシーのデータを組み合わせた、100万件規模のオープンなペルソナデータセットとしては初めてだとしている。
Hugging Faceは、エキスパート同士の相互作用を考慮する二階のMoEエキスパート剪定手法HOPE(Higher-Order Pruning of Experts)を提案した。50%の剪定率でHOPEは全手法中最高の平均順位を記録し、エージェント型コーディングタスクでは次善の剪定手法より最大+6.1%向上した。
アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。
Vals AIの研究者がThinking MachinesのInkling 2 Smallについて、13のベンチマーク、2655回の実行における思考ログを読んだところ、50回の実行で「fuck」およびその変形が出現し、計316回に上った。うち241回は暴走した2回の実行によるものだ。
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
Google ResearchのAIは、血圧計のカフによる較正なしに、スマートウォッチに搭載済みの脈拍センサーとモーションセンサーだけで高血圧の兆候を検出できる。研究はNatureに掲載された。このニューラルネットワークは約50万時間のセンサーデータから、短い区間を比較して同一人物のものかを見分けることで脈拍と心拍のパターンを学習し、数日間の平均から高血圧の確率を算出する。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
OpenAIは、AIエージェントが生の実験データを解釈し、日常的なウェットラボ科学を処理する能力を測る100タスクのベンチマーク、BioBasicsBenchを公開した。
AI2はHugging Face上でToyBlocksを公開した。卓上のロボットアームとブロックを中心に据えたオープンなシミュレーションフレームワークで、FoundationWorldsシリーズの最初の環境にあたる。
SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。
Google ResearchはNatureに研究を発表し、スマートウォッチの光電容積脈波(PPG)と加速度計(ACC)の信号を用いてカフによる校正なしに高血圧状態を受動的に識別するマルチモーダルAIシステム「AI-PPG-ACC-HTN」を提案した。
ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。
Google ResearchはAgile Deliberationフレームワークを提案した。主観的な視覚分類器の構築を概念の定義と概念の反復の2段階に分け、VLMが意味境界の曖昧な画像を能動的に選び出してユーザーに自らの定義を明確化させ、そのフィードバックを自動プロンプト最適化のループに取り込む。
Anthropicはオープンソースの研究プロトタイプ「FlashProve」を公開した。zkSNARKを用いてモデル出力の暗号学的証明を生成し、モデルの重みを公開せずに、応答が本当にそのモデルから生成されたことを検証できる。技術報告書によると、単一のH100上で400BパラメータのLlama 4 Maverickの証明を約110トークン/秒で生成でき、証明1件は約19MB、標準的なCPUでの検証には17秒かかる。通常の推論と比べて約70倍から95倍のオーバーヘッドとなる。
研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。
スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
IBMはHugging FaceのブログでPaletteを紹介した。20BのオープンウェイトモデルをLoRAで微調整し、スライド作成を「デザイナーがJSONブリーフを書く」「コーダーがpptxgenjsのコードを書く」という2つの役割に分解した。訓練データは約1000件のスライド、約1万ページで、IBM Design Languageに準拠している。
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
Latent SpaceのAINewsが、Takehi氏らの「Weight Space Programming」の研究を紹介。フロンティアモデルが自然言語の目標からニューラルネットワークの重みテンソルを直接検査・編集するもので、勾配降下や学習ループに依存しない。
OpenAIは、保育園探しや家計管理、行政書類の手続きなど、人々の日常業務をAIがどれだけ支援できるかを測るベンチマーク「LifeVal」を公開した。
研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。
Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。
ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。
Adobe ResearchとUCサンディエゴは、画像編集リクエストをステップに分解し、各ステップで汎用エディターと専用ツールに並行して候補を生成させ、検証記録をもとに標準的な言語モデルが一度に比較して最良の結果を選ぶ「EditAgent」を提案した。
Googleはスタンフォード大やオックスフォード大などの機関と共同で、動画エージェント「StreamVibe」を発表した。ユーザーが明示した意図、口に出していない意図、タスク途中で変わった意図の3種類を見分け、いつ支援を提供すべきかを自律的に判断する。Qwen3.5-9Bを基に訓練したStreamVibe-VLは、応答のタイミングと品質で他のモデルより10.7%向上し、併設の記憶システムにより能動的なインタラクションがさらに12.3%向上した。
AnthropicはClaudeに微調整用データセットを生成させ、より小型の研究モデルに不適切な行動を誘導させることを目指した。同時に、各データセットは同社の本番システムを模した安全監視を通過しなければならなかった。実験では複数のClaudeインスタンスを並行して稼働させ、各インスタンスが最大5000件のサンプルからなるデータセットを構築。監視側は行の10%超がフラグ付けされた場合にそのデータセットを却下し、通過したモデルにはさらに一連の不整合評価を実施した。
Drew Breunig 氏は qwenputer に触発され、動作する NES 6502 CPU エミュレータを Qwen3.5-4B の重みに埋め込んだ。これにより Qwen の中で Super Mario Bros などの NES ROM を(非常に遅いが)動かせるようになった。
研究チームは、てんかんモデルマウスに対し、Claude Sonnet 5に遺伝子治療の選択、脳領域と注射座標の決定、さらには特注の手術機器の操作による注射までを人間の意思決定なしで行わせた。このエージェントはてんかん発作の仕組みを分析し、19種類の候補治療から一つを選定。3本の論文に基づいて注射座標を導き出し、手術中にはカメラで32回の観察を行った。
Epoch AIの研究者らは、オープンウェイトモデルGLM 5.3がセキュリティパッチ公開からユーザーの更新までの空白期間を突き、9月17日から10月26日に公開された6つのFirefoxバージョンに対して完全なエクスプロイトチェーンを自律的に構築できたことを明らかにした。攻撃1回あたりのAPI費用は約1000ドル。
Microsoft Research Focus 第97期では複数の新研究を紹介。自己改善エージェントフレームワークForkPilotは6つのベンチマークと主要モデルでテストされ、既存の最良手法と同等の水準を達成しつつ、AI処理のオーバーヘッドを最大59%削減した。