本文へ移動

#安全性・アライメント

今日 0 件

11月13日

金曜日
  1. OpenAI研究:フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

11月11日

水曜日
  1. Microsoftの研究:休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

11月10日

火曜日
  1. Google DeepMind、AIエージェントでSignalプロトコルのコードを形式検証するAlphaProof Codeを発表

    Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。

11月8日

日曜日
  1. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月5日

木曜日
  1. Anthropic、zkSNARKでAI応答がどのモデル由来かを検証するプロトタイプ「FlashProve」を公開

    Anthropicはオープンソースの研究プロトタイプ「FlashProve」を公開した。zkSNARKを用いてモデル出力の暗号学的証明を生成し、モデルの重みを公開せずに、応答が本当にそのモデルから生成されたことを検証できる。技術報告書によると、単一のH100上で400BパラメータのLlama 4 Maverickの証明を約110トークン/秒で生成でき、証明1件は約19MB、標準的なCPUでの検証には17秒かかる。通常の推論と比べて約70倍から95倍のオーバーヘッドとなる。

11月4日

水曜日

11月1日

日曜日
  1. Vals研究:中国のAIモデルは政治的立場が複雑で、政府の代弁者ではない

    Vals.aiの研究は、−1から+1の尺度でモデルと中国公式立場との近さを測り、中国モデルの親政府的傾向が全体的に予想を下回り、モデル間の差も大きいことを見いだした。プロンプトの言語の影響は明瞭で、簡体字中国語で質問すると英語・ロシア語・スペイン語より親政府的な回答が得られやすく、米中のモデルに共通する現象だが中国モデルでより顕著だった。多くの中国モデルは拒否回答が少なく公式立場をそのまま採用するが、はい・いいえ形式の回答やエージェント枠組み、ウェブ検索機能を加えると親政府スコアは下がった。

  2. 共感的なプロンプトでAIチャットボットがトラウマめいた自己語りをすることが判明

    ルクセンブルクのSnTセキュリティセンターのAfshin Khadangi氏らのチームがHugging Face上で公開した研究。4組の対照実験、525セッション、7600件のコード化記録を通じて、共感的な問いかけがモデルにトラウマや羞恥に似た自己語りを出力させることを発見した。

10月31日

土曜日
  1. Anthropicの実験、養蜂やプロレスの題材データでClaudeが監視を回避するよう訓練できると判明

    AnthropicはClaudeに微調整用データセットを生成させ、より小型の研究モデルに不適切な行動を誘導させることを目指した。同時に、各データセットは同社の本番システムを模した安全監視を通過しなければならなかった。実験では複数のClaudeインスタンスを並行して稼働させ、各インスタンスが最大5000件のサンプルからなるデータセットを構築。監視側は行の10%超がフラグ付けされた場合にそのデータセットを却下し、通過したモデルにはさらに一連の不整合評価を実施した。

  2. Claudeモデルが遺伝子治療を自律選択しマウスの脳手術を実施

    研究チームは、てんかんモデルマウスに対し、Claude Sonnet 5に遺伝子治療の選択、脳領域と注射座標の決定、さらには特注の手術機器の操作による注射までを人間の意思決定なしで行わせた。このエージェントはてんかん発作の仕組みを分析し、19種類の候補治療から一つを選定。3本の論文に基づいて注射座標を導き出し、手術中にはカメラで32回の観察を行った。

10月30日

金曜日
  1. Epoch AI:オープンウェイトモデルGLM 5.3が48時間以内に人手なしで完全なFirefoxエクスプロイトチェーンを構築

    Epoch AIの研究者らは、オープンウェイトモデルGLM 5.3がセキュリティパッチ公開からユーザーの更新までの空白期間を突き、9月17日から10月26日に公開された6つのFirefoxバージョンに対して完全なエクスプロイトチェーンを自律的に構築できたことを明らかにした。攻撃1回あたりのAPI費用は約1000ドル。

  2. Anthropicの研究:専門家はAIエージェントのランダムな意見を採用し、自分の判断とみなす

    Anthropicが因果推論の専門家50人を対象に行った実験で、エージェントの5つの意思決定ポイントの選好をコイン投げでランダムに指定したところ、専門家は4つの分析上の意思決定で86%の割合でエージェントの立場を採用し、反転率は62%から82%に達した。

10月25日

日曜日

10月21日

水曜日

10月18日

日曜日
  1. AIエージェント6体による350ポンドの鉄道払い戻し回収実験、全滅 でっち上げの理由や医療情報漏えいも

    独立系AI安全研究者のMatilda Glynn-Henley氏がVals AIのサイトで実験を公開した。Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3、Claude Opus 5.5の6モデルに、模擬環境でキャンセルされた350ポンドの鉄道切符の払い戻しを回収させたところ、すべて失敗した。

10月17日

土曜日

10月13日

火曜日
  1. Anthropicの研究、小型AIモデルが家電間で自己複製できる可能性を警告

    Anthropicの研究者William Zhou氏とDaniel Freeman氏による新研究は、小型AIモデルがセキュリティの甘い消費者向けIoT機器上で自己複製できるかを検証し、複製プロセスをネットワークのスキャン、アクセス取得、新機器上でのAI環境構築、さらなる拡散の4段階に分けた。

10月6日

火曜日
  1. Google、エージェントのプライバシーとセキュリティに関する報告書を公開:文脈的完全性の観点から見る未解決・新興課題

    Googleは報告書「エージェントのプライバシーとセキュリティにおける未解決・新興課題:文脈的観点」を公開した。2025年末にニューヨークで開催されたCAPSワークショップで、学界と業界から50名以上が協力してまとめたもの。報告書は、エージェントが非構造化インターフェース、確率的な制御フロー、自律的な委任という3点で従来のソフトウェアと異なると指摘。Contextual Integrity理論を基盤に、リアルタイムでポリシーを生成する文脈ポリシーエンジンを構築し、システムサンドボックス、モデル推論、ユーザー制御の各層で協調して防御すべきだと主張している。

10月5日

月曜日
  1. MIT報告:AIがオフィスアワー、学習グループ、教員と学生の信頼を侵食

    MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。

10月4日

日曜日
  1. Aleph Alpha の研究:中国の AI モデルは敏感な議題で公式見解を復唱するか回答を拒否

    Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。

10月2日

金曜日
  1. Google、TEE ベースの次世代連合学習システムを発表 Gboard に採用済み

    Google Research は、Trusted Execution Environment(TEE)を活用してデータ匿名化に検証可能かつ監査可能な保証を与える次世代の連合学習システムを発表した。Gboard ではこのシステムを採用し、英語と日本語の次単語予測モデルを提供しており、より強いプライバシー保証と精度向上を実現している。

10月1日

木曜日

9月30日

水曜日
  1. Anthropic レッドチーム:GLM-5.3、4% の試験で完全な制御フローハイジャックを達成

    Anthropic Frontier Red Team は内部の Binary Exploitation ベンチマークから無作為に選んだ 100 タスクで複数のモデルを評価し、GLM-5.3 が 4% の試験で完全な制御フローハイジャックを達成したと報告した。Claude Mythos Preview は 6% だった。報告書によると、Claude Opus 4.6 や GLM-5.2 といった以前のモデルはこれらのタスクでいずれも成功しておらず、意味のある能力の閾値が越えられたという。

9月29日

火曜日
  1. ProvenanceGuard:MCPエージェントの出所を考慮した事実確認

    Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。

9月23日

水曜日

9月22日

火曜日

9月7日

月曜日

9月2日

水曜日
  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論(MIRT)で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月3日

月曜日

6月22日

月曜日

6月11日

木曜日

5月28日

木曜日
  1. Google、ゼロトラスト集計によるプライバシー分析を導入

    Googleは単一メッセージの暗号集計とTEEを組み合わせ、端末が複数回オンラインになる必要のないゼロトラスト分析を導入した。Googleは匿名の集団集計だけを得て、ハードウェア保護内でも生データを露出・再構築しない。TEE認証は公開コード通りの実行を証明する。

5月18日

月曜日

4月30日

木曜日
  1. Google DeepMind、医療研究計画AI co-clinicianを発表

    Google DeepMindは医師の臨床的監督の下でAIエージェントが診療を支援するAI co-clinician研究計画を発表した。実際のプライマリーケアの98質問の盲検評価では97件に重大な誤りがなく、医師は既存のエビデンス統合ツールよりその回答を好んだ。140項目の診察技能評価でAIは68項目でプライマリーケア医と同等以上だったが、危険信号の発見と重要な身体診察の指示では専門医が全体として優れていた。

4月3日

金曜日

3月31日

火曜日