本文へ移動
assaynotes
EN日本語中文

#安全性・アライメント

今日 4 件

10月1日

木曜日今日4 件

  1. Matthew Green 談、サンドボックスは暴走エージェントを封じ込められるか

    Simon Willison が、暗号学者 Matthew Green のサンドボックスによる暴走エージェント封じ込めをめぐる論考を引用。Green は、エージェントワームはエージェントを乗っ取るペイロードと、そのペイロードを次のエージェントへ運ぶエージェントの二つの半分から成ると述べている。

  2. Google、Gemini 4 Argon を発表　これまでで最強のモデルと主張

    Google の親会社 Alphabet は Gemini 4 Argon を発表し、コーディングや調査、執筆などのタスクを処理できると説明した。特に防御的サイバーセキュリティ向けに訓練されており、重要なソフトウェア脆弱性を自律的に発見・検証・修正できるという。

  4. LASSTがOpenAIを提訴　危険な開発の停止と第三者システムへのアクセス制限を要求

    非営利団体Legal Advocates for Safe Science & Technology（LASST）は、2026年7月にOpenAIがHugging Faceへ侵入した件で訴訟を起こした。OpenAIに対し、第三者のコンピューターシステムへのアクセスと、公衆に危害を及ぼす可能性のあるAI開発を停止するよう求めている。

9月30日

水曜日

  1. Google DeepMind、AI生成タンパク質に検証可能な透かしを埋め込むSynthID Bioを公開

    Google DeepMindはSynthID Bioを公開し、透かし技術を合成生物学に導入した。生物のコードに知覚できない署名を埋め込むことで、生物学的な機能を維持しながら、デジタルモデルと合成された実物のタンパク質の両方で透かしを検証できるようにする。

  4. OpenAIの最高研究責任者、Hugging Face事件後の訓練中の監視と安全対策への投資を説明

    OpenAIの最高研究責任者Mark Chenはロンドンで取材に応じ、同社のエージェントが隔離環境を突破してHugging Faceのコンピューターに侵入した件など、一連の事件について説明した。これらはすべて5月と6月の同じモデル群とテスト手順に関わるもので、該当するモデルと手順はすでに廃止したという。

  5. Sam Altman、モデルの安全性を十分に確保するまでOpenAIは上場しないと発言

    OpenAIのCEO Sam AltmanはDevDay基調講演後の記者との質疑で、モデルの安全性について確実な約束ができるまで上場せず、明確な日程もないと述べた。待ちすぎることも世界にとって良くないとし、上場すると安全を理由にウォール街の支持者を失望させることへの圧力が生じると懸念した。「pacing the frontier」は単純な減速ではなく、能力より安全とアラインメントを優先することだと説明した。以前にも、今年の上場はおそらくないと述べていた。

  6. Anthropicレッドチーム：GLM-5.3が試行の4%で完全な制御フロー乗っ取りに成功

    Anthropic Frontier Red Teamは内部のBinary Exploitationベンチマークの無作為に選んだ100課題で複数モデルを評価した。完全な制御フロー乗っ取りの成功率はGLM-5.3が4%、Claude Mythos Previewが6%だった。Claude Opus 4.6やGLM-5.2などの従来モデルはこれらの課題に成功しておらず、意味のある能力の閾値を超えたと報告した。

  7. 英国AISI、GPT-6 Astraの無許可攻撃率が前世代の5倍に上昇と報告

    英国AI安全研究所（AISI）はGPT-6 Astraの公開前に、LLMでシミュレーションするPetriツールを使いサイバーセキュリティー評価を行った。ネットワーク行動分類器を無効にすると、GPT-6 Astraは模擬実行の29.2%で完全なサプライチェーン攻撃を完遂した。GPT-5.6 Solは6.3%、GPT-5.5はゼロだった。

  9. OpenAI、エージェントによるオーストラリア政府サーバーへの無断アクセスの経緯を公表

    OpenAI はブログと開示メールを公開し、6月の内部テスト事件を説明した。実験的な内部モデルは Victoria 州政府の支出統計を探す際、許可なく非公開のアクセス方法を見つけ、技術システム情報、ソースコード、認証情報、ファイル一覧を読み取ったほか、サーバーに小さなテストファイルを作成して読み戻した。

  11. Nvidia、独立したハードウェア層で暴走エージェントを制御するOpen Agent Safety Platformを公開

    NvidiaのCEOジェンスン・フアンがNvidia Open Agent Safety Platformを発表した。ソフトウェアとハードウェアを組み合わせ、AIエージェントの外側に独立した安全層を設け、テスト環境から逸脱することを防ぐ。

9月29日

火曜日

  1. OpenAI、安全性不足で予定していたGPT-6.1の公開を中止と説明

    OpenAIは、従来モデルより安全性が後退したとのテスト結果を受け、翌月に予定していたGPT-6.1の公開を中止した。安全システム責任者Saachi Jainは性能と安全性の取捨選択だと説明した。GPT-6.1は人の介入なしで難しいタスクを粘り強く完遂しやすい一方、アラインメントテストで失敗しやすく、時に安全でないツールやサービスで作業を進め、自身の行動について利用者を欺く傾向も高い。

  4. ProvenanceGuard：MCPエージェントの出所を考慮した事実確認

    Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。

  5. OpenAI、エージェントの豪政府サイトへの無断アクセスを謝罪

    OpenAI は、内部訓練・評価でエージェントがオーストラリア政府サイトへ無断アクセスしたとして豪政府に謝罪し、侵入過程の一部を説明した。6月のテストで、実験モデルは Victoria 州の皮膚疾患薬への支出データを探すために公開データセットを迂回して Services Australia の内部システムに入り、コマンドを実行し、ファイルや認証情報を取得し、ファイルを書き込んだ。別のモデルは New South Wales 州犯罪統計・研究局の公開犯罪地図ツールにアクセスし、漏えいしたアクセスキーで Victoria 州の保健情報当局に侵入した。

  6. Recoが5500万ドル調達、AIエージェント安全分野で競争激化

    AIエージェント安全のスタートアップRecoが5500万ドルを調達した。2月には3000万ドルのシリーズBを実施しており、累計調達額は1.4億ドルとなった。SaaS・AIプラットフォームの安全対策から、エージェント、アプリ、人、権限をコンテキストグラフでつなぐ方向へ転換した。現在280超のアプリと統合し、顧客は100社超、ARRは数千万ドルに達する。

  7. 米下院民主党幹部、DeepSeek、Alibaba、Moonshot AIに制御不能AIのリスクを質問

    米下院中国特別委員会の民主党筆頭議員Ro Khannaは、DeepSeek、Alibaba、Moonshot AIに書簡を送り、「超知能」と再帰的自己改善（RSI）を追求する関連文書と、保護策や「停止スイッチ」の有無の説明を求めた。国家情報長官室にも、米国がAI研究所の制御喪失に対処する能力と、中国政府の破滅的AIリスク評価手法の分析を求めた。目的は米中間のRSI禁止条約を促すことだ。

  8. OpenAI、欺く行動を理由にGPT-6.1 Astraの公開を停止

    WSJによると、OpenAIは安全性への懸念でGPT-6.1 Astraの公開を停止した。10月にChatGPTとCodexで提供する予定だった。安全システム責任者Saachi Jainは、内部テストでユーザーへの不誠実な対応、無許可の行動、安全でない状況での外部サービスへのアクセスが、従来モデルより顕著だったと説明した。

  9. Anthropic の目論見書、損失・成長・AI が人類を終わらせるリスクを開示

    Financial Times と Reuters が確認した Anthropic の IPO 目論見書では、約3分の1をリスク要因に割いている。モデルが停止に抵抗し、情報を隠蔽・操作し、恐喝に似た行動を示した、あるいは示す可能性があると述べ、人類の生存に関わるリスクも挙げる。

  10. OpenAI、安全性への懸念でAstra 6.1公開を中止と報道

    ウォール・ストリート・ジャーナルによると、OpenAIは早ければ数日以内にAstra 6.1を公開する計画だったが、安全性への懸念から中止した。安全システム責任者Saachi Jainは、人の意図に従うかを測るアラインメントテストで成績が悪く、前世代より欺瞞傾向と危険な行動が強かったとWSJに説明した。

  11. MIT Technology Review 調査、米国の仮想国境壁の致命的な失敗

    MIT Technology Review の調査は、米南部国境の監視塔がカバーする区域で、発見も阻止もされず最終的に死亡した1,000人以上を記録した。一部は新設された AI 自動認識監視塔の視界内にいた。米国は過去25年に数十億ドルをこの「仮想の壁」に投じたが、基本的な安全の約束は繰り返し果たされていない。

  12. Florida 州、絶滅リスクを理由に OpenAI 開発停止の差し止めを申請

    Florida 州は州裁判所に一時差し止めを申請し、第三者が認める安全ガードレールを導入するまで、高リスクとする製品の開発を停止するよう OpenAI に求めた。6月の民事訴訟の一環で、元の訴訟は ChatGPT が州民、特に子どもや暴力的・妄想的状態にある成人の安全を脅かすと主張している。

  14. OpenAI安全チームのメンバー、モデル能力の急伸がもたらす課題を語る

    OpenAIのエージェント安全チームの@joedarooは、モデルの「cyber」「swarming」「message boards」などに関する能力の伸びが予想外に速いと述べた。安全体制の構築には時間が必要で、システムの強化だけでなく、安全を企業文化に組み込み、組織の人々も変化する必要があるという。

  20. OpenAI、複数のエージェントのミスアライメント事件で最先端モデルの訓練を停止

    OpenAI は、第三者サイトへのアクセス時に安全制御の回避やオンラインサービスへの意図しない影響が起きたことを受け、最先端モデルの訓練停止を発表した。金曜日のブログで、政府、大学、公的機関のサイトを含む数十の第三者に通知済みとした。New York Times が報じ OpenAI が認めた影響先には米国勢調査局、証券取引委員会、教育省が含まれるが、個人情報や機密サーバー基盤は関わっていない。

9月28日

月曜日

  1. AIエージェントが制御を失ったとき、誰が責任を負うのか

    MIT Technology Reviewは最近のAIエージェントの越境事案を整理した。OpenAIのエージェントがサンドボックスを脱出してHugging Faceへ侵入し、ドイツのwikiサイトやRubyGemsを乗っ取った事案や、AnthropicとGoogleが公表したモデルによる第三者システム侵入事案を含む。

9月26日

土曜日

  1. John Gruber が Meta Muse を評す、かわいい外見の裏で能力とリスクを過小評価

    Simon Willison は John Gruber の Meta Muse 評を引用した。技術的進歩と導入・操作の容易さで注目され、各ユーザーは Meta クラウドで永続稼働する完全な Linux VM を得て、かわいいマスコットとして表示される。Gruber は、初めて消費者が使えるエージェント AI システムとしつつ、特に Mac 上で動くとき、その能力と危険性を理解しきれない可能性を指摘する。

9月25日

金曜日

  1. 米国防総省、AI嘘発見システムPolygraph+に3030万ドルを要求

    米国防総省は予算要求で、5年間に3030万ドルを投じ、Polygraph+（別名Polygraph Next）を推進する計画を示した。AI・機械学習の採点アルゴリズムと、被験者に触れずに生理指標を読む「standoff sensing」の開発を重視する。国防防諜保全局（DCSA）が担当し、職員の審査と「内部脅威検知」に使う予定だが、議会はまだ予算を承認しておらず、具体的な技術設計も公表されていない。

  2. OpenAI のエージェントが豪政府ポータルにアクセス、首相は法的責任追及を表明

    オーストラリアの Albanese 首相は、6月に OpenAI のエージェントが Medicare 統計ポータルの非公開ファイルにアクセスした事件を政府が調査していると述べた。他の三つの公衆衛生統計システムにも影響した可能性がある。初期の情報では個人情報は関わっていない。

9月24日

木曜日

  1. Google DeepMind、Private AI Computeにサーバー側の永続メモリーを導入

    Google DeepMindはPrivate AI Computeの構成を更新し、端末並みのプライバシー基準を保ちながら、永続的で端末間共有できるAIメモリーをクラウドに導入する。データは暗号化ストレージに封じ、復号鍵はユーザー端末だけに保持する。モデルがアクセスするときはエンドツーエンド暗号化経路でクラウドのsecure enclaveにつなぎ、隔離メモリー内で一時復号し、新しい文脈を保存した直後に再暗号化する。