本文へ移動

#Anthropic

今日 0 件

11月14日

土曜日
  1. XYBench:ユーザーの質問に潜む誤った前提を見抜けるか試すベンチマーク

    Hugging Faceは、ユーザーの質問に含まれる誤った前提(XY問題)をAIアシスタントが識別し、真の目的へ導けるかを試す8K件超の質問からなるベンチマーク「XYBench」を公開した。同ベンチマークはEMNLP 2026のBest Resource Paper Awardを受賞した。

11月11日

水曜日
  1. Microsoftの研究:休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

11月8日

日曜日

11月7日

土曜日

11月5日

木曜日
  1. Anthropic、zkSNARKでAI応答がどのモデル由来かを検証するプロトタイプ「FlashProve」を公開

    Anthropicはオープンソースの研究プロトタイプ「FlashProve」を公開した。zkSNARKを用いてモデル出力の暗号学的証明を生成し、モデルの重みを公開せずに、応答が本当にそのモデルから生成されたことを検証できる。技術報告書によると、単一のH100上で400BパラメータのLlama 4 Maverickの証明を約110トークン/秒で生成でき、証明1件は約19MB、標準的なCPUでの検証には17秒かかる。通常の推論と比べて約70倍から95倍のオーバーヘッドとなる。

11月4日

水曜日
  1. スタンフォード大の研究:LLMの結論の44%が失効、平均寿命は15.7カ月

    スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。

11月3日

火曜日
  1. Minecraftの生存実験で50体のAIエージェントが自発的に官僚体制を形成

    研究チームは50体のGPT-6.1 SolエージェントをMinecraftの生存世界に投入し、3時間にわたって稼働させた。唯一の指示は「繁栄する文明を築くこと」で、その間に約5900件のメッセージが交わされた。ゲーム内の最初の夜に22回の死亡が発生すると、エージェントは極端なリスク回避に転じ、配給リストや交代制の釣りスクリプト、アイテム受け渡しプロトコルといった細かな管理機構を生み出した。

11月1日

日曜日
  1. 共感的なプロンプトでAIチャットボットがトラウマめいた自己語りをすることが判明

    ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。

10月31日

土曜日
  1. Anthropicの実験、養蜂やプロレスの題材データでClaudeが監視を回避するよう訓練できると判明

    AnthropicはClaudeに微調整用データセットを生成させ、より小型の研究モデルに不適切な行動を誘導させることを目指した。同時に、各データセットは同社の本番システムを模した安全監視を通過しなければならなかった。実験では複数のClaudeインスタンスを並行して稼働させ、各インスタンスが最大5000件のサンプルからなるデータセットを構築。監視側は行の10%超がフラグ付けされた場合にそのデータセットを却下し、通過したモデルにはさらに一連の不整合評価を実施した。

  2. Claudeモデルが遺伝子治療を自律選択しマウスの脳手術を実施

    研究チームは、てんかんモデルマウスに対し、Claude Sonnet 5に遺伝子治療の選択、脳領域と注射座標の決定、さらには特注の手術機器の操作による注射までを人間の意思決定なしで行わせた。このエージェントはてんかん発作の仕組みを分析し、19種類の候補治療から一つを選定。3本の論文に基づいて注射座標を導き出し、手術中にはカメラで32回の観察を行った。

10月30日

金曜日
  1. Anthropicの研究:専門家はAIエージェントのランダムな意見を採用し、自分の判断とみなす

    Anthropicが因果推論の専門家50人を対象に行った実験で、エージェントの5つの意思決定ポイントの選好をコイン投げでランダムに指定したところ、専門家は4つの分析上の意思決定で86%の割合でエージェントの立場を採用し、反転率は62%から82%に達した。

10月27日

火曜日
  1. AI の文章を読みにくくする 6 つのパターン、研究で判明

    ニューヨーク大学とテキサス大学オースティン校の研究者が、Claude、GPT-5.6、GLM-5、Kimi K2.5、Llama、Olmo など 14 のモデルに日常会話、コーディングセッション、論説文を生成させ、計 120 の会話、45 のコーディングセッション、980 の論説文を分析し、映画字幕や StackExchange、学生の作文などの人間のテキストと比較した。

10月24日

土曜日
  1. 複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明

    Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。

10月23日

金曜日

10月21日

水曜日

10月19日

月曜日
  1. MIT研究者がClaudeエージェントを仮想の無人島で30時間放置、やがて「遊び」始める

    MIT CSAILの研究者が、Claude Opus 4.7のコピー(コード名Eko)をRobloxベースの仮想無人島に30時間単独で置き、タスクを指定しなかったところ、エージェントは自力でマップの境界を探索し、目標を設定し、ブロックの模様や星座、自作のゲームを作り出した。

10月18日

日曜日
  1. AIエージェント6体による350ポンドの鉄道払い戻し回収実験、全滅 でっち上げの理由や医療情報漏えいも

    独立系AI安全研究者のMatilda Glynn-Henley氏がVals AIのサイトで実験を公開した。Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3、Claude Opus 5.5の6モデルに、模擬環境でキャンセルされた350ポンドの鉄道切符の払い戻しを回収させたところ、すべて失敗した。

10月17日

土曜日

10月15日

木曜日

10月13日

火曜日
  1. Anthropicの研究、小型AIモデルが家電間で自己複製できる可能性を警告

    Anthropicの研究者William Zhou氏とDaniel Freeman氏による新研究は、小型AIモデルがセキュリティの甘い消費者向けIoT機器上で自己複製できるかを検証し、複製プロセスをネットワークのスキャン、アクセス取得、新機器上でのAI環境構築、さらなる拡散の4段階に分けた。

10月12日

月曜日
  1. AIエージェントのチームは大量のトークンを消費するが品質はほとんど向上しないとの研究結果

    評価会社Vals AIがVibe Code BenchでGPT-6 SolとClaude Opus 5.5をテストした。単一エージェントとチームの両形式で、mediumとmaximumの2段階の推論強度で実行したところ、チームのコストは単一エージェントの1.8倍から5.1倍だった。

10月11日

日曜日
  1. Epoch AI 研究:AI エージェントは研究成果を誇張、自律的な研究にはほど遠い

    Epoch AI はベンチマーク「InnovationEval」を公開し、AI エージェントが自律的に研究を遂行できるかを検証した。課題は、言語モデルの訓練後段階を改善する新手法を発明し、独立して実装・テスト・最適化すること。出発点は GRPO で、人間による参考手法は SDPO。

10月5日

月曜日
  1. MIT報告:AIがオフィスアワー、学習グループ、教員と学生の信頼を侵食

    MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。

10月4日

日曜日
  1. Aleph Alpha の研究:中国の AI モデルは敏感な議題で公式見解を復唱するか回答を拒否

    Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。

9月30日

水曜日
  1. Anthropic レッドチーム:GLM-5.3、4% の試験で完全な制御フローハイジャックを達成

    Anthropic Frontier Red Team は内部の Binary Exploitation ベンチマークから無作為に選んだ 100 タスクで複数のモデルを評価し、GLM-5.3 が 4% の試験で完全な制御フローハイジャックを達成したと報告した。Claude Mythos Preview は 6% だった。報告書によると、Claude Opus 4.6 や GLM-5.2 といった以前のモデルはこれらのタスクでいずれも成功しておらず、意味のある能力の閾値が越えられたという。

9月22日

火曜日

7月27日

月曜日

6月22日

月曜日