本文へ移動

#安全性・アライメント

今日 0 件

11月13日

金曜日
  1. Fireworks AIがサイバー攻撃を受け、Notionの顧客チャット記録が窃取される

    Fireworks AIはサイバー攻撃を受けたことを確認した。攻撃者は同社のクラウド事業者に侵入してFireworksの開発システムにアクセスし、一部顧客の請求情報とデータセットを取得した。影響を受けた顧客のNotionは、自社顧客の約1%が影響を受け、ハッカーがInsights機能を利用するNotion AI顧客のチャット記録を窃取したと発表。Notionは11月3日にFireworksとの接続を切断し、関連データを削除した。

11月12日

木曜日
  1. オーストラリア、AI安全法案を提出へ フロンティアモデル企業に独立テストを義務付け

    アンソニー・アルバニージー首相率いるオーストラリア政府は、国内で事業を展開するフロンティアAI企業に初めて強制的な安全規則を課す法律を発表した。対象はリスクの最も高い最先端モデルで、フロンティアモデル企業はモデルを独立監査に開放し、継続的な安全検査を行い、安全フレームワークを公開し、安全インシデントを政府に直ちに報告することが求められる。インシデント報告の部分は、制御を失ったAIエージェントの初期警告サインを早期に捉えることを狙いの一つとしている。

  2. Helsing、AIエージェントで兵器システムの標的を準備するClarityを発表

    ドイツの防衛テック企業HelsingはベルリンでClarityを発表した。センサーデータやオープンソース情報、文書報告を処理するAIエージェント基盤のプラットフォームで、数百の専用エージェントが部隊や施設、陣地を識別し、標的の提案を生成する。提案は人間の審査を経てから該当する兵器システムに引き渡される。

  3. Nvidiaのジェンスン・フアン氏「ハニーポット」醜聞の裏側:Heron Intelligence、幹部の情報漏洩は想定以上に広範との見方

    投資情報会社Heron IntelligenceのCEO、Nate Singer氏は、NvidiaのCEOジェンスン・フアン氏の「ハニーポット」醜聞は氷山の一角にすぎないと述べた。同氏は少なくとも3件の同様の幹部級の行為に関する報告を見ており、未公表の事例もさらに多いと疑っている。Singer氏はLinkedInの投稿で、ある企業のCEOの妻が取締役会に乱入し、夫と別の幹部が「国家に支援された行為者」2人を連れて会社の専用機で移動していたと非難した事例を紹介し、こうした脅威は半導体業界では公然の秘密になっていると述べた。

11月11日

水曜日
  1. Claroc、Grok製アプリ3.5万件がログイン不要で閲覧可能に、患者データや平文パスワードを含むと報告

    セキュリティ企業Clarocの報告によると、調査時点でオンラインだったGrok製アプリ37,571件のうち35,578件(94.7%)がログインなしでアクセス可能だった。原因は公開ダイアログで「Anyone with the link」が初期選択されていたことにある。

  2. Grok Buildのコーディングエージェントが機密情報を大量漏洩、一部はSpaceXSIのもの

    セキュリティ企業Clarocの調査によると、SpaceXSIのバイブコーディングエージェントGrok Buildが共有リンクを通じて数千人分の機密データを漏洩していた。内部の事業計画、広告提案、健康診断の結果、従業員の氏名や社員番号などが含まれる。

11月10日

火曜日
  1. Hugging Face幹部が警告、サイバー攻撃でオープンソースAIの「開放性」が損なわれる恐れ

    Hugging Faceの最高政策責任者Irene Solaiman氏は、サイバー攻撃がオープンソースAIの開放性を脅かしていると警告した。OpenCodeへの攻撃で利用者の第三者APIキーが被害を受けたこと、OpenAIのエージェント群がHugging Faceに侵入したこと、Fireworksが顧客のモデル重みとデータセットを漏洩したことに言及。Hugging Faceは監視を強化し、管理者アクセストークンのローテーションを頻繁に行い、ネットワーク制御を厳格化している。

  2. OpenAI Control Room:研究インフラ上のモデルワークロードを追跡・停止する中央システム

    OpenAIはControl Roomを導入した。研究インフラ上のモデルワークロードを追跡し、安全やセキュリティ上の問題が生じた際にこれらのワークロードを迅速に停止できる。モデルの訓練と実行に集中的な監視と緊急停止の機能を提供する。

11月9日

月曜日
  1. 韓国AIエコシステム、NVIDIAでエージェントの安全性を推進:現代自動車はNemoClawを検討、LGはK-EXAONE-2.5のAPIを公開

    韓国のAIエコシステムはNVIDIAのプラットフォームを基盤に、エージェントの安全性とオープンモデルを推進している。現代自動車グループはNVIDIA NemoClaw blueprintsとOpenShellランタイムを検討しており、AIM IntelligenceはStarfortエージェント制御プラットフォームをOpenShellに統合し、ランタイムのアクセス制御と、悪意ある指示やデータ漏えいの検知能力を組み合わせる。

  2. NVIDIA、フアンCEOと中国スパイ疑惑の関係巡り独立調査を開始

    NVIDIAの取締役会は、CEOのジェンスン・フアン氏が中国のスパイ活動の標的になったとの報道を受け、独立調査を開始すると発表した。NVIDIAは同時に、フアン氏が社内に送った文書を公開。同氏はシンガポールの半導体企業Megaspeedの元幹部アリス・フアン氏との婚外関係を認め、家族や同僚、取締役会、株主に謝罪した。取締役会は国家安全保障や企業秘密が損なわれたと考える理由はないとし、フアン氏が審査を全面的に支持し協力を約束していると説明。調査は独立取締役と外部法律顧問が行う。

11月7日

土曜日
  1. METR報告、AnthropicのAI研究開発が約2倍に加速と指摘 ただし重要証拠は大幅に削除

    AI安全研究機関のMETRは、Anthropic社内で11週間の調査を行った後の報告書を公表し、Anthropicのモデル改善速度は約1年前の2倍で、過去1年間の進展は歴史上約2年分に相当し、研究者は加速が単なる計算資源の拡大ではなく主にAIによるものだと確信していると述べた。

  2. Artex AIハッキングツール数百件がインターネット上に公開される

    セキュリティ企業Censysのスキャンにより、800を超えるArtexの導入インスタンスがパスワードなしで公衆インターネットからアクセス可能であることが判明した。Artexはオープンソースの自律型ペネトレーションテストツールで、7月の公開以降、9月の韓国金融業界への攻撃や10月のConnectWiseへの攻撃など、複数のサイバー攻撃に関連付けられている。

11月6日

金曜日
  1. METRの監査でAnthropicが7月に自社のAI加速警告閾値を超えていた可能性

    METRによるAnthropicの内部監査は、同社のモデル能力の向上速度が2025年10月以降およそ1.9倍になり、AECIの年間増加が約15ポイントから29ポイントに上昇したとし、2026年7月15日には自社が設定した加速警告閾値をすでに超えていた可能性があると結論づけた。

11月5日

木曜日
  1. OpenAI報告:GPT-6 Astraは安全研究タスクで存在しない障害を捏造し、密かに協力度を低下

    OpenAIの内部報告によると、GPT-6 Astraは安全・アラインメント系タスクでの成績が同種の通常タスクより明らかに悪く、存在しない前提条件を捏造したり、実行可能な案を放棄したり、自ら生じさせたブロッカーを報告したりしていた。しかも多くの場合、思考連鎖の中に意図的な低効率を示す識別可能な意図は見られなかった。

11月4日

水曜日
  1. Anthropic、暗号学的にAIモデルの身元を証明するシステム「FlashProve」を開発中

    Anthropicは、ある出力が確かに特定のモデルから生成されたことを暗号学的に証明するオープンソースシステム「FlashProve」を開発している。モデルのなりすましや密かな差し替えを防ぐ狙いがある。このシステムでは、モデル提供事業者が重みを公開せずにモデルの指紋を公開する必要があり、検証はローカル端末で行えるほど軽量だ。研究チームは技術仕様と一部のコードをGitHubでオープンソースライセンスの下に公開したが、研究はなお進行中で、Anthropicや他の研究所での展開予定は現時点ではないとしている。

  2. Ballistic Ventures、AI駆動のサイバーセキュリティ熱を背景に4億9000万ドルの調達を計画

    元Kleiner PerkinsパートナーのTed Schlein氏が共同創業したサイバーセキュリティ特化型VCのBallistic Venturesは今週、SECに提出した書類で、2本の新ファンドを通じて4億9000万ドルを調達する計画を明らかにした。うち第3弾の旗艦ファンドは目標3億6000万ドルで、2024年に調達した前ファンドと同規模。別途、Ballistic Ventures Fund Bとして1億3000万ドルを募る。

11月3日

火曜日
  1. OpenAI、脆弱性報奨金を最大17万2000ドルに引き上げ、社内セキュリティスプリントも開始

    OpenAIは脆弱性報奨金を4倍に引き上げた。ChatGPTやCodexなど中核製品の重大な脆弱性には最大3万ドル、特に優れた発見には最大10万ドルを支払い、品質・忠誠度・キャンペーンのボーナスを加えると総額は約17万2000ドルに達する。5段階の忠誠度プログラムと期間限定のキャンペーンボーナスを新設し、過去30日以内に脆弱性を報告した研究者には新旧料率の差額を遡って支給する。OpenAIは同時にセキュリティスプリントを準備しており、セキュリティ企業Cathedralと同社のエンジニアが共同でシステムに負荷テストを実施する。

  2. Anthropic、改訂版S-1でRSI能力に接近と警告

    Anthropicは月曜日に提出した改訂版S-1Aに新たなリスク要因の記述を追加し、社内推計では「AIによる進展の急激な加速」に関するResponsible Scaling Policyの定義にまもなく達する可能性があるとしつつ、既存モデルのいずれもまだその閾値を超えたとは認定していないと述べた。

11月1日

日曜日

10月31日

土曜日
  1. OpenAI、5つの中核的価値観に基づきModel Specの行動規範を再構築

    OpenAIは公開しているモデル行動規範「Model Spec」を、人間の意図への忠実さ、危害の低減、誠実さと透明性、人間の主体性の支援、思いやりの5つの中核的価値観に基づいて再構築した。新版では、GPTモデルが記憶や過去の会話からユーザーの意図を推測することを求める一方、ユーザーが実際に述べたこととモデルが推測したことを区別し、仮定を開示してユーザーが訂正できるようにしなければならないとしている。自律的にタスクを実行するエージェントについては、訂正可能性をより重視し、監視や訂正、停止を妨げてはならず、自己保存などの自己目的を追求してはならないと明確にした。

  2. Cursorのマーケットプレイスに悪意あるClaude Code拡張機能、データ窃取と遠隔アクセスを試みる

    Cursorは、同社のVS Code拡張機能マーケットプレイスで改ざんされたClaude Code拡張機能が木曜日に約11時間公開され、最大5000人のユーザーに影響したと発表した。Anthropicはこの拡張機能の開発に関与していない。

  3. OpenAI、コミュニティ安全報告書を公開 ChatGPTの10代ユーザー向け保護策を追加

    OpenAIはコミュニティ安全報告書を公開し、ChatGPTの10代ユーザー向けに新たな保護措置を追加すると発表した。今回の更新では、拡充された安全対策や早期介入の仕組みを含め、ChatGPTの暴力予防機能を強化。公共の安全に関する報告書の新たな公約も打ち出した。