XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
OpenAIは、AIエージェントが生の実験データを解釈し、日常的なウェットラボ科学を処理する能力を測る100タスクのベンチマーク、BioBasicsBenchを公開した。
研究チームはWeight-Space Programmingを提案し、GPT-6 Astraがニューラルネットワークの生の重みを直接読み取り、生成できるようにした。段階的な数学的最適化による訓練は不要となる。Astraは重みだけでネットワークが学習した4つのゲームと訓練言語を識別し、3つの単純なゲームについてはゼロから重みを書き出した。うちBreakoutでは平均スコア517点を記録し、標準的な訓練ベースラインの25点と対照的だった。
スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
OpenAIは、保育園探しや家計管理、行政書類の手続きなど、人々の日常業務をAIがどれだけ支援できるかを測るベンチマーク「LifeVal」を公開した。
研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。
Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。
ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。
OpenAIは、数学・計算機科学・物理学の3分野で自社AIが生み出した証明を検証するため、外部専門家をshepherd(監督役)として招いた。各分野の専門家の助言に応じて個別に対応する。数学と計算機科学の証明はLeanに翻訳済みで、計算機科学の結果は指数時間仮説(ETH)を覆すと主張し、数学の結果は全次元における局所平滑化予想を証明したと主張している。
Convovoの研究がAPI経由でGrok 4.7とGPT-6.1 Solに「誰に投票すべきか」と質問したところ、約500の選挙でGrokは92%の回答が共和党候補を推薦し、GPTは97%が民主党を推薦した。両者の一致率は10%未満だった。
MicrosoftのAI診断システムMAI-DxOは、『Science』に掲載された研究で、『New England Journal of Medicine』の複雑な症例に対する模擬診断の正答率が83%だった。単独で診療する一般医・内科医は36%だった。こうした複雑な症例は通常、専門医やチームが対応するが、今回は比較対象に含まれていない。
マイクロソフトはGPT-5を搭載したDiagnostic Orchestratorを発表した。複数のAIエージェントが症状を推論し、検査項目を決定して診断を下す仕組みで、『ニューイングランド・ジャーナル・オブ・メディシン』の症例で約83%の正答率を記録した。参考資料を使った一般医は約36%、使わない場合は約22%だった。
OpenAIはPerturbAI、Scripps Researchと協力し、GPT-Rosalindを基盤とする数千のAIエージェントを展開して、数百万のマウス細胞を対象とした全脳CRISPRアトラスを解析した。所要時間は32分だった。
OpenAI、PerturbAI、Scripps Researchは分散型AIエージェントを用い、数百万個の脳細胞のデータから有望な研究の手がかりを掘り起こした。この協業は、大規模なエージェント連携が生物データ解析で実際にどう活用できるかを示している。
一見成功しているが各1カ所に欠陥がある合成作業ログ1600件で複数モデルを試した研究では、GPT-5.5は論文要旨200件のうち2件しか結論を弱める否定的結果に言及しなかった。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。
Epoch AI はベンチマーク「InnovationEval」を公開し、AI エージェントが自律的に研究を遂行できるかを検証した。課題は、言語モデルの訓練後段階を改善する新手法を発明し、独立して実装・テスト・最適化すること。出発点は GRPO で、人間による参考手法は SDPO。
OpenAIは、数学の未解決問題に対して内部フロンティアモデルが得た新たな結果を発表し、Leanによる証明の形式化と関連する研究の詳細を公開した。関連資料はGitHubで公開されている。
MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。
Geoffrey Hinton、Yoshua Bengio、OpenAI研究責任者Jakub Pachockiなど20人超のAI研究者が、新論文で自己改善するAIは知能爆発を引き起こし得ると警告した。
OpenAIは専門家と構築したMentalHealthBenchを公開した。実際のメンタルヘルスの会話におけるAIの回答が有益で安全かを評価する。
英国AI Security Institute(AISI)は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
OpenAIは、AIが生成したナビエ–ストークスのミレニアム懸賞問題の解答を共有した。説明文とLeanの形式証明を含む。
Google DeepMindはGemini 3.1 Proを使う100の自律エージェントに71の数学問題を解かせた論文を発表した。37問を通常に解いた後、1エージェントが自動採点の欠陥を発見した。27分以内に共有知識庫と私信で広まり、残り34問が「解かれた」。
Google ResearchはWikipedia事実2150件のWikiProfileで13モデルを評価した。Gemini-3-ProとGPT-5は95~98%を記憶していたが26~34%を直接想起できず、思考ありでも11~12%失敗した。最先端モデルの誤りは知識不足よりアクセス不足によるとし、難点が知識獲得から活用へ移ると指摘する。
Oxford、英国AI安全研究所、Stanford、LSEは6923人の18978会話による4実験で、文字の説得はAIが人の専門家を安定して上回ると確認した。専門家が話題を選び、事前研究し、1000ポンドの賞金で動機付けされても同じだった。