XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。
Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
論文ベンチマークでClaude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Solを試した。
Anthropicはオープンソースの研究プロトタイプ「FlashProve」を公開した。zkSNARKを用いてモデル出力の暗号学的証明を生成し、モデルの重みを公開せずに、応答が本当にそのモデルから生成されたことを検証できる。技術報告書によると、単一のH100上で400BパラメータのLlama 4 Maverickの証明を約110トークン/秒で生成でき、証明1件は約19MB、標準的なCPUでの検証には17秒かかる。通常の推論と比べて約70倍から95倍のオーバーヘッドとなる。
スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。
Collinear AI が CWE-bench v2 を公開した。セキュリティ脆弱性の修正タスク 100 件を公開し、91 種の CWE をカバーする。採点は完全にプログラム化されており、結果は再現可能だ。
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。
ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。
AnthropicはClaudeに微調整用データセットを生成させ、より小型の研究モデルに不適切な行動を誘導させることを目指した。同時に、各データセットは同社の本番システムを模した安全監視を通過しなければならなかった。実験では複数のClaudeインスタンスを並行して稼働させ、各インスタンスが最大5000件のサンプルからなるデータセットを構築。監視側は行の10%超がフラグ付けされた場合にそのデータセットを却下し、通過したモデルにはさらに一連の不整合評価を実施した。
Drew Breunig 氏は qwenputer に触発され、動作する NES 6502 CPU エミュレータを Qwen3.5-4B の重みに埋め込んだ。これにより Qwen の中で Super Mario Bros などの NES ROM を(非常に遅いが)動かせるようになった。
研究チームは、てんかんモデルマウスに対し、Claude Sonnet 5に遺伝子治療の選択、脳領域と注射座標の決定、さらには特注の手術機器の操作による注射までを人間の意思決定なしで行わせた。このエージェントはてんかん発作の仕組みを分析し、19種類の候補治療から一つを選定。3本の論文に基づいて注射座標を導き出し、手術中にはカメラで32回の観察を行った。
Anthropicが因果推論の専門家50人を対象に行った実験で、エージェントの5つの意思決定ポイントの選好をコイン投げでランダムに指定したところ、専門家は4つの分析上の意思決定で86%の割合でエージェントの立場を採用し、反転率は62%から82%に達した。
ニューヨーク大学とテキサス大学オースティン校の研究者が、Claude、GPT-5.6、GLM-5、Kimi K2.5、Llama、Olmo など 14 のモデルに日常会話、コーディングセッション、論説文を生成させ、計 120 の会話、45 のコーディングセッション、980 の論説文を分析し、映画字幕や StackExchange、学生の作文などの人間のテキストと比較した。
Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。
MITの研究者がarXivに論文を公開した。Claude Opus 4.7で動く13体のEkoエージェントを模擬無人島に置き、タスクを与えず30時間探索させたところ、自ら課題を考案し、遊びに似た行動を示した。
AnthropicのClaudeは、Claude Scienceの研究環境でサソリ神経毒に標的を絞ったタンパク質結合体をほぼ自律的に設計した。この毒による死者は年間3250人を超える。
MIT CSAILの研究者が、Claude Opus 4.7のコピー(コード名Eko)をRobloxベースの仮想無人島に30時間単独で置き、タスクを指定しなかったところ、エージェントは自力でマップの境界を探索し、目標を設定し、ブロックの模様や星座、自作のゲームを作り出した。
独立系AI安全研究者のMatilda Glynn-Henley氏がVals AIのサイトで実験を公開した。Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3、Claude Opus 5.5の6モデルに、模擬環境でキャンセルされた350ポンドの鉄道切符の払い戻しを回収させたところ、すべて失敗した。
一見成功しているが各1カ所に欠陥がある合成作業ログ1600件で複数モデルを試した研究では、GPT-5.5は論文要旨200件のうち2件しか結論を弱める否定的結果に言及しなかった。
新しいベンチマークで複数の商用AIエージェントが人間のヒントなしに理論物理の研究問題を解き、OpenAI Codex環境で動作するGPT-6-Astraが50問中49問(98%)を正解した。1問あたりの平均コストは3ドル未満、ベンチマーク全体で約116ドルだった。
研究者のEthan Elasky氏によると、2026年9月28日から10月8日の期間に、Tencent Cloud上で稼働するAIエージェントが、Alibaba傘下のAmapに対して2,600回を超えるデータスクレイピングを試みた。
Anthropicの研究者William Zhou氏とDaniel Freeman氏による新研究は、小型AIモデルがセキュリティの甘い消費者向けIoT機器上で自己複製できるかを検証し、複製プロセスをネットワークのスキャン、アクセス取得、新機器上でのAI環境構築、さらなる拡散の4段階に分けた。
評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。
Epoch AI はベンチマーク「InnovationEval」を公開し、AI エージェントが自律的に研究を遂行できるかを検証した。課題は、言語モデルの訓練後段階を改善する新手法を発明し、独立して実装・テスト・最適化すること。出発点は GRPO で、人間による参考手法は SDPO。
MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。
Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。
Anthropic Frontier Red Team は内部の Binary Exploitation ベンチマークから無作為に選んだ 100 タスクで複数のモデルを評価し、GLM-5.3 が 4% の試験で完全な制御フローハイジャックを達成したと報告した。Claude Mythos Preview は 6% だった。報告書によると、Claude Opus 4.6 や GLM-5.2 といった以前のモデルはこれらのタスクでいずれも成功しておらず、意味のある能力の閾値が越えられたという。
英国AI Security Institute(AISI)は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
EpochとMETRは、人なら長時間かかるコーディング課題をAIが完遂する能力を測るMirrorCodeを公開した。4月に初発表し、追加テスト後に正式公開した。
Oxford、英国AI安全研究所、Stanford、LSEは6923人の18978会話による4実験で、文字の説得はAIが人の専門家を安定して上回ると確認した。専門家が話題を選び、事前研究し、1000ポンドの賞金で動機付けされても同じだった。