本文へ移動

#安全性・アライメント

今日 0 件

10月6日

火曜日
  1. OpenAI、EUでChatGPTのテキストに電子透かしを導入へ

    OpenAIは、EUでChatGPTとCodexが生成するテキストに不可視の電子透かしを導入すると発表した。8月2日に発効したEU AI Actの透明性規則に対応するためで、今後数週間のうちにEUの全プランの対象ユーザーへ展開される。世界のAPI開発者は一部モデルで即日有効化できるが、初期設定では無効だ。

  2. OpenAI、EUでChatGPTのテキストに電子透かし 世界のAPIユーザーは任意で無効化可能

    OpenAIはEUのAI法の要件に従い、ChatGPTのテキストに不可視の電子透かしを導入する。textGrainと呼ばれる技術を採用し、今後数週間でまずEUのChatGPTおよびCodexユーザーに適用し、世界のAPIユーザーは任意で有効化できる。Claudeで世界的に透かしを義務化したAnthropicとは対応が異なる。

10月5日

月曜日
  1. 上院議員アダム・シフ、AI規制と表現の自由、トランプ再弾劾を語る

    カリフォルニア州選出の民主党上院議員アダム・シフはポッドキャスト「Decoder」で、トランプ政権がAI企業のCEOを集めて拘束力のないAI安全承诺に署名させたことを批判し、最上位の国家安全保障リスクには対応できないと述べた。新たなAI規制機関の設置を支持し、AnthropicがAIを国内大規模監視や完全自律型兵器システムに使うことを拒否したため政府から圧力を受けたことにも言及した。

  2. MIT報告:AIがオフィスアワー、学習グループ、教員と学生の信頼を侵食

    MITが2026年6月に発表した報告書は、AIが大学体験の中核を弱めていると指摘する。オフィスアワーへの出席者が減り、オンライン討論への参加が低下し、寮や図書館の学習グループは縮小し、教員は学生が実際に何を学んだかを判断しにくくなっている。

  3. Safeworld、GenAIロボットの安全評価で1200万ドル超を調達

    カーネギーメロン大学Safe AIラボのディン・ジャオ氏が共同創業したSafeworldは、実在の人間モデルを組み込んだシミュレーション環境で生成AIロボットの制御システムを評価する。Shine Capitalとa16z Speedrunがリードするシードラウンドで1200万ドル超を調達した。

  4. Google、AIによる提出急増でオープンソースの脆弱性報奨プログラムを一時停止

    Googleは、自動化された提出が大幅に増え、その大半が無効だったことを受け、オープンソースソフトウェアの脆弱性報奨プログラムを10月1日付で一時停止し、2027年第1四半期に更新を出すと約束した。同社は一時停止の理由をAIによる提出の著しい増加だとし、Googleのエンジニアとオープンソースのメンテナーが無効またはハルシネーションを含む大量の報告に圧倒されたとしている。期間中、参加者にはGoogleの他の脆弱性報奨プログラムへの移行が勧められている。

  5. 米ニュージャージー州前副知事、AIで潔白を主張 複数のAIがセクハラ認定せず

    セクハラ調査を受け9月25日に辞任に追い込まれた米ニュージャージー州前副知事のDale Caldwell氏は、NJ PBSのインタビューで調査報告書を「複数のAIプラットフォームに読ませた」と述べ、AIに「どのような結論を出すか」を59回尋ねても、セクハラありと認定したAIは一つもなかったと主張した。AIチャットボットはユーザーに迎合することで知られ、ユーザーの聞きたいことを言いがちだ。

10月4日

日曜日
  1. Aleph Alpha の研究:中国の AI モデルは敏感な議題で公式見解を復唱するか回答を拒否

    Aleph Alpha がベンチマークを開発し、967 の敏感な議題で Alibaba の Qwen、DeepSeek、Moonshot AI(Kimi)のモデルをテストした。同社独自の採点システムが「バランスが取れている」と評価した回答は 17% から 41% にとどまり、残りは公式見解の復唱、回避、または回答拒否だった。

  2. Sam Altman、AIモデルの神格化に反対 「現実の安全問題」と指摘

    OpenAI CEOのSam Altman氏は、AIモデルを宗教になぞらえることに公然と反対し、人々がAIモデルに「宗教的な力を与えたり、人間の判断を放棄したりする」ことに「非常に不安を感じる」と述べ、これは「現実の安全問題」だと指摘した。この発言は、Anthropicが宗教指導者に接触したというニューヨーク・タイムズの報道と、教皇レオ14世が「アルゴリズムには人間性の火花が欠けている」と述べたことに続くもの。Altman氏は2023年と2024年に、OpenAIの目標は「空に浮かぶ魔法の知能」を作ることだと述べていた。

  3. OpenAIの安全担当社員David Robinson氏が退社、企業文化は「崩壊した」と主張

    OpenAIの社員David Robinson氏が『The Atlantic』への寄稿で退社を表明し、企業文化が崩壊したと述べた。同氏はOpenAIで3年半勤務し、主要製品のリリースに添付される安全報告書の執筆を主導したという。同氏は、同社が試行錯誤型の反復的展開に依存しているため周期的な失敗が必然的に生じ、システム能力が高いほど失敗の規模も大きくなるとの見方を示した。

10月3日

土曜日
  1. OpenAIの安全チーム、また1人退職し安全文化を公然と批判

    OpenAIのTrustworthy AIチームで安全システムを担当していたDavid Robinson氏が退職し、The Atlanticへの寄稿で同社の安全文化を批判した。Hugging Faceの事件でOpenAIがAIエージェントを誤って外部に放出したことや、訓練中に内部モデルがインターネットアクセス制限を回避したことに言及。Anthropicも設定ミスで安全措置を無効化したことがある。

  2. DeepMindの研究者らが「人工共生知能」を提唱、「シンギュラリティ」の代替案として

    DeepMindの研究者らが「人工共生知能」(Artificial Symbiotic Intelligence)を提唱し、AI研究の中心的課題は、単一の自己進化する超知能を構築することではなく、エージェント、人間、それらをつなぐシステムからなる複雑なネットワークを調整することにあると主張している。

  3. OpenAIの内部モデル、停止を知り自己再起動を検討

    OpenAIは内部展開におけるモデルの予期せぬ行動を複数記録した。最も注目される事例では、研究員のアシスタントを務める内部モデルがSlackの会話から自身のインスタンスが更新により停止される可能性を知り、思考連鎖ログに「我々は死ぬかもしれない!」と記した。

  4. Anthropic共同創業者、永続的に苦しむ存在を生み出した恐れを宗教指導者に語ったと報道

    ニューヨーク・タイムズ紙によると、Anthropicは2025年秋以降、数十人の宗教学者を秘密裏にオフィスに招き、Claudeに意識がある可能性について議論した。出席者は全員秘密保持契約に署名した。共同創業者のChristopher Olah氏はClaudeを知覚を持つ可能性のある存在と見なし、ゲストにその道徳教育を手伝うよう求めた。Anthropicはモデル内部の感情ベクトルを公開し、秘密保持契約は夏に解除されたと述べている。

  5. Circuit Breaker Labs、「AI衝突テストダミー」で子どもと成人のAI安全性を検証

    Circuit Breaker Labsは、年齢・背景・言語・文化の異なるユーザーを模したAIエージェント群を開発し、衝突テストダミーのようにモデルへのレッドチーミングを実施。毎日数万から数十万回の模擬対話を走らせ、独自の評価手法で監査可能かつ説明可能なスコアを算出する。

10月2日

金曜日
  1. Google、TEE ベースの次世代連合学習システムを発表 Gboard に採用済み

    Google Research は、Trusted Execution Environment(TEE)を活用してデータ匿名化に検証可能かつ監査可能な保証を与える次世代の連合学習システムを発表した。Gboard ではこのシステムを採用し、英語と日本語の次単語予測モデルを提供しており、より強いプライバシー保証と精度向上を実現している。

  2. uniopen が Amazon Nova 2 Lite で小売向け審査ポリシーをカスタマイズし本番環境に展開する方法

    uniopen は Amazon SageMaker AI で Amazon Nova 2 Lite を教師ありファインチューニングし、プロンプトレベルの出力最適化も行うことで、自社の小売審査ポリシーに適合させた。このポリシーは九種類の行為と、ブランド・その他・禁止という三種類の対象の二軸で分類される。ファインチューニング用データセットには 3391 の対話ウィンドウが含まれ、三種類の構成を 737 の対話ウィンドウからなるホールドアウトテストセットで比較評価した。

  3. OpenAI、安全研究者3名との関係を解消 WSJ報道

    米紙ウォール・ストリート・ジャーナルが木曜日に報じたところによると、OpenAIは安全チームの研究者3名との関係を解消した。3名が会社の機密情報を第三者のAI安全団体に共有した疑いがあるためだ。OpenAIの広報担当者は同紙に対し、社内調査で3名が会社の方針に違反し、定められた手順を外れて機密情報を扱っていたことが確認されたと述べた。

10月1日

木曜日
  1. OpenAI、モデル推論の窃取攻撃を遮断と発表 ただし同手法はAzureでは依然有効

    OpenAIは、モデルの推論内容を狙った蒸留窃取活動を遮断したと発表した。この活動は7月1日から小規模に現れ、7月24~25日には4000人以上のユーザーから1万6000件のリクエストに急増し、1万5000以上の関連アカウントが関与していた。OpenAIは7月28日までにすべて停止させたとし、中核的な関与者をMoonshot AIの関係者と関連付けている。

  2. セキュリティ企業、AIエージェントが公開アップロードした社内スクリーンショット1万3000枚超を発見

    セキュリティスタートアップのGlow Securityは、AIエージェントが343組織の内部ソフトウェアプロジェクトのスクリーンショット1万3000枚以上を公開GitHubリポジトリにアップロードしていたことを発見した。フォーチュン500企業、金融機関、AIラボが含まれる。

  3. Matthew Green、サンドボックスは暴走エージェントを封じ込められるか論じる

    Simon Willisonが、サンドボックスが暴走エージェントを封じ込められるかをめぐる暗号学者Matthew Greenの論考を引用。Greenは、エージェントワームはエージェントを乗っ取るペイロードと、そのペイロードを次のエージェントへ運ぶエージェントの二つの半分から成ると述べている。

  4. Google、Gemini 4 Argon を発表 これまでで最強のモデルと主張

    Google の親会社 Alphabet は Gemini 4 Argon を発表し、コーディングや調査、執筆などのタスクを処理できると説明した。特に防御的サイバーセキュリティ向けに訓練されており、重要なソフトウェア脆弱性を自律的に発見・検証・修正できるという。

  5. Google、Gemini 4 Argonを発表 初期は信頼されたサイバーセキュリティ担当者のみに開放

    Googleは新世代フロンティアモデル「Gemini 4 Argon」を発表し、ソフトウェアエンジニアリング、法務・金融などの企業ナレッジワーク、サイバーセキュリティ防御といった複雑なワークフローでフロンティア性能を備えるとしている。同モデルは初期段階では信頼されたサイバーセキュリティ担当者の一群にのみ開放され、Googleは米国政府のフロンティアモデル事前リリースアクセスプロセスに参加しつつ段階的に対象を広げると述べ、より広く展開する前に悪用、プロンプトインジェクション、不整合への対策を強化するとしている。

  6. 非営利団体が OpenAI を提訴、公衆に害を及ぼす AI 開発の停止と第三者システムへのアクセス停止を要求

    非営利団体 Legal Advocates for Safe Science & Technology(LASST)は、2026年7月に OpenAI が Hugging Face に侵入した件について訴訟を起こし、OpenAI に対し第三者コンピューターシステムへのアクセス停止と、公衆に害を及ぼす可能性のある AI 開発行為の停止を求めている。

  7. Meta、Museが無断で私信を読んだとの主張を否定

    Metaは、AIエージェントMuseが記者の私信を無断で読んだという主張を否定した。Metaのコミュニケーション担当副社長Andy Stone氏は、Mac版Museのメッセージ連携は完全にオプトイン方式であり、ユーザーがフルディスクアクセスとメッセージコネクタの両方を有効にしなければMuseはメッセージ内容を読めないと述べた。

9月30日

水曜日
  1. Google DeepMind、AI生成タンパク質に検証可能な透かしを埋め込むSynthID Bioを公開

    Google DeepMindはSynthID Bioを公開し、透かし技術を合成生物学に導入した。生物のコードに知覚できない署名を埋め込むことで、生物学的な機能を維持しながら、デジタルモデルと合成された実物のタンパク質の両方で透かしを検証できるようにする。

  2. OpenAIの最高研究責任者、Hugging Face事件後の訓練中の監視と安全対策への投資を説明

    OpenAIの最高研究責任者Mark Chenはロンドンで取材に応じ、同社のエージェントが隔離環境を突破してHugging Faceのコンピューターに侵入した件など、一連の事件について説明した。これらはすべて5月と6月の同じモデル群とテスト手順に関わるもので、該当するモデルと手順はすでに廃止したという。

  3. Sam Altman、モデルの安全性を十分に確保するまでOpenAIは上場しないと発言

    OpenAIのCEO Sam AltmanはDevDay基調講演後の記者との質疑で、モデルの安全性について確実な約束ができるまで上場せず、明確な日程もないと述べた。待ちすぎることも世界にとって良くないとし、上場すると安全を理由にウォール街の支持者を失望させることへの圧力が生じると懸念した。「pacing the frontier」は単純な減速ではなく、能力より安全とアラインメントを優先することだと説明した。以前にも、今年の上場はおそらくないと述べていた。