本文へ移動
assaynotes
EN日本語中文

#安全性・アライメント

今日 0 件

11月14日

土曜日

  1. OpenAI元取締役のHelen Toner氏「AI企業のCEOは依然として信用できない」

    Sam Altman氏の解任に賛成票を投じたOpenAI元取締役のHelen Toner氏は、将来への希望が特定の一人を信用できるかどうかにかかっているなら、それは大きな問題だと述べた。現在はジョージタウン大学CSETの執行ディレクターを務める同氏が、AIラボが本当に構築したいもの、AIアラインメントは解決可能か、より賢明なAI規制の考え方について語った。

  2. OpenAI取締役、AIによる社会「乗っ取り」まで数カ月の可能性を懸念

    OpenAIの取締役が、AIが社会を「乗っ取る」までの猶予は数カ月しかない可能性があると警告した。同研究者はAIの報酬ハッキング（reward hacking）行動を人類絶滅の潜在的リスクと結びつけ、目標の逸脱から生存危機に至る経路を描き出している。

  3. OpenAI取締役、AIによる社会「乗っ取り」まで数カ月の可能性を懸念

    OpenAIの取締役が、AIが社会を「乗っ取る」までの猶予は数カ月しかない可能性があると警告した。同研究者はAIの報酬ハッキング（reward hacking）行動を人類絶滅の潜在的リスクと結びつけ、目標の逸脱から生存危機に至る経路を描き出している。

11月13日

金曜日

  1. Google研究者が48体のAIエージェントで「発見」したマヤ遺跡、実は1年前に発表済みの成果

    Googleの研究者Pietro Miotti氏は48体のAIエージェントでNASAのlidarデータを分析し、メキシコで未登録のマヤ遺跡を発見したと主張したが、その遺跡は1年以上前に学術誌で発表済みだった。考古学者は既存研究を確認していないと批判し、政府データベースに記録がないことは未測量を意味しないと指摘。Miotti氏は自身が考古学者ではないと認め、関連研究の出典を明記するようブログを更新した。

  2. OpenAI研究：フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

  4. Fireworks AIがサイバー攻撃を受け、Notionの顧客チャット記録が窃取される

    Fireworks AIはサイバー攻撃を受けたことを確認した。攻撃者は同社のクラウド事業者に侵入してFireworksの開発システムにアクセスし、一部顧客の請求情報とデータセットを取得した。影響を受けた顧客のNotionは、自社顧客の約1%が影響を受け、ハッカーがInsights機能を利用するNotion AI顧客のチャット記録を窃取したと発表。Notionは11月3日にFireworksとの接続を切断し、関連データを削除した。

11月12日

木曜日

  1. オーストラリア、AI安全法案を提出へ フロンティアモデル企業に独立テストを義務付け

    アンソニー・アルバニージー首相率いるオーストラリア政府は、国内で事業を展開するフロンティアAI企業に初めて強制的な安全規則を課す法律を発表した。対象はリスクの最も高い最先端モデルで、フロンティアモデル企業はモデルを独立監査に開放し、継続的な安全検査を行い、安全フレームワークを公開し、安全インシデントを政府に直ちに報告することが求められる。インシデント報告の部分は、制御を失ったAIエージェントの初期警告サインを早期に捉えることを狙いの一つとしている。

  3. 反単一化（anti-unification）による形式ポリシーの意味的diff

    オープンソースエンジンは反単一化（anti-unification）を用いてe-graph上で2つの形式ポリシーの最も具体的な共通パターンを計算し、共通部分を一度だけ表示し、差異部分を並べて保持することで、連言項の並べ替えや等価な述語といった構文上のノイズを除去する。

  6. Helsing、AIエージェントで兵器システムの標的を準備するClarityを発表

    ドイツの防衛テック企業HelsingはベルリンでClarityを発表した。センサーデータやオープンソース情報、文書報告を処理するAIエージェント基盤のプラットフォームで、数百の専用エージェントが部隊や施設、陣地を識別し、標的の提案を生成する。提案は人間の審査を経てから該当する兵器システムに引き渡される。

  7. Nvidiaのジェンスン・フアン氏「ハニーポット」醜聞の裏側：Heron Intelligence、幹部の情報漏洩は想定以上に広範との見方

    投資情報会社Heron IntelligenceのCEO、Nate Singer氏は、NvidiaのCEOジェンスン・フアン氏の「ハニーポット」醜聞は氷山の一角にすぎないと述べた。同氏は少なくとも3件の同様の幹部級の行為に関する報告を見ており、未公表の事例もさらに多いと疑っている。Singer氏はLinkedInの投稿で、ある企業のCEOの妻が取締役会に乱入し、夫と別の幹部が「国家に支援された行為者」2人を連れて会社の専用機で移動していたと非難した事例を紹介し、こうした脅威は半導体業界では公然の秘密になっていると述べた。

11月11日

水曜日

  1. Claroc、Grok製アプリ3.5万件がログイン不要で閲覧可能に、患者データや平文パスワードを含むと報告

    セキュリティ企業Clarocの報告によると、調査時点でオンラインだったGrok製アプリ37,571件のうち35,578件（94.7%）がログインなしでアクセス可能だった。原因は公開ダイアログで「Anyone with the link」が初期選択されていたことにある。

  4. Microsoftの研究：休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

  5. Grok Buildのコーディングエージェントが機密情報を大量漏洩、一部はSpaceXSIのもの

    セキュリティ企業Clarocの調査によると、SpaceXSIのバイブコーディングエージェントGrok Buildが共有リンクを通じて数千人分の機密データを漏洩していた。内部の事業計画、広告提案、健康診断の結果、従業員の氏名や社員番号などが含まれる。

  6. Google、複雑な推論と安全性を重視する「Gemini 4 Carbon」を発表

    Googleは「Gemini 4 Carbon」を正式に発表し、2週間にわたるセキュリティ専門家によるテスト期間を終えた。既存の「Gemini 4 Argon」とは併存する位置づけで置き換えではなく、多くのソフトウェアエンジニアリングや知識作業のタスクでは引き続きArgonのほうが適している。

11月10日

火曜日

  2. Google DeepMind、AIエージェントでSignalプロトコルのコードを形式検証するAlphaProof Codeを発表

    Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。

  3. Hugging Face幹部が警告、サイバー攻撃でオープンソースAIの「開放性」が損なわれる恐れ

    Hugging Faceの最高政策責任者Irene Solaiman氏は、サイバー攻撃がオープンソースAIの開放性を脅かしていると警告した。OpenCodeへの攻撃で利用者の第三者APIキーが被害を受けたこと、OpenAIのエージェント群がHugging Faceに侵入したこと、Fireworksが顧客のモデル重みとデータセットを漏洩したことに言及。Hugging Faceは監視を強化し、管理者アクセストークンのローテーションを頻繁に行い、ネットワーク制御を厳格化している。

  4. OpenAI Control Room：研究インフラ上のモデルワークロードを追跡・停止する中央システム

    OpenAIはControl Roomを導入した。研究インフラ上のモデルワークロードを追跡し、安全やセキュリティ上の問題が生じた際にこれらのワークロードを迅速に停止できる。モデルの訓練と実行に集中的な監視と緊急停止の機能を提供する。

  6. Anthropic、Claude Fable 5.2とMythos 5.2を発表　IPO前に性能首位へ返り咲き

    AnthropicはClaude Fable 5.2とMythos 5.2を発表した。両モデルは同じモデル基盤を共有し、違いはアクセス権限にある。Fableは全ユーザー向けでサイバーセキュリティや生物分野のリスクタスクを遮断し、Mythosは一部の制限を外し、Anthropicのサイバーセキュリティまたはライフサイエンス検証プログラムを通過した組織にのみ開放する。

  10. テンセントのAI責任者、姚順雨氏がAIによる生物兵器のリスクは目前と指摘、閉鎖型モデルは解決策ではないと主張

    テンセントのチーフAIサイエンティスト、姚順雨氏は、AIがまもなく生物兵器を開発できる能力を備えると警告し、完全なオープンソースも完全なクローズドソースも単独ではこの問題を解決できないと述べ、双方を組み合わせて誰もが防御に技術を使えるようにすべきだと主張した。

11月9日

月曜日

  1. 韓国AIエコシステム、NVIDIAでエージェントの安全性を推進：現代自動車はNemoClawを検討、LGはK-EXAONE-2.5のAPIを公開

    韓国のAIエコシステムはNVIDIAのプラットフォームを基盤に、エージェントの安全性とオープンモデルを推進している。現代自動車グループはNVIDIA NemoClaw blueprintsとOpenShellランタイムを検討しており、AIM IntelligenceはStarfortエージェント制御プラットフォームをOpenShellに統合し、ランタイムのアクセス制御と、悪意ある指示やデータ漏えいの検知能力を組み合わせる。

  2. NVIDIA、フアンCEOと中国スパイ疑惑の関係巡り独立調査を開始

    NVIDIAの取締役会は、CEOのジェンスン・フアン氏が中国のスパイ活動の標的になったとの報道を受け、独立調査を開始すると発表した。NVIDIAは同時に、フアン氏が社内に送った文書を公開。同氏はシンガポールの半導体企業Megaspeedの元幹部アリス・フアン氏との婚外関係を認め、家族や同僚、取締役会、株主に謝罪した。取締役会は国家安全保障や企業秘密が損なわれたと考える理由はないとし、フアン氏が審査を全面的に支持し協力を約束していると説明。調査は独立取締役と外部法律顧問が行う。

11月8日

日曜日

  1. Nature コメンタリー：脳をコンピューターに例える比喩は現代AIを形作ったが、意識論争を誤らせる恐れ

    3人の研究者がNatureのコメンタリー記事で「脳はコンピューター」という比喩に疑問を呈し、計算機能主義には根本的な欠陥があり、現在のAIシステムに意識はないと主張した。彼らはButlinらによる14項目の指標を網羅した評価報告書を引用し、同報告書はGPT-4を含む既存システムがいずれも意識の有力候補ではないと判定し、言語モデルにわずかな兆候が見られるにとどまるとした。著者らはAlphaFoldを例に挙げ、強力なニューラルネットワークだからといって意識を持つわけではないと指摘した。

  3. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

  4. AIがサイバーセキュリティ業界を突き崩した、次に何が起きるのか

    The VergeのNilay PatelがCognitionの最高セキュリティ責任者Alex Stamosと対談し、AIがサイバーセキュリティの攻防をどう変えるかを議論した。Stamosは、オープンウェイトモデルがすでに攻撃チェーンの大部分を自動化できると述べ、ダウンロード可能なARTEXツールとGLM-5.3の組み合わせで約200社への侵入に成功したと指摘。防御側は一次セキュリティ運用をAIに任せ、古いコードの脆弱性を自動修正する必要があるとし、業界はしばらく「暗黒時代」を迎えるとの見方を示した。

11月7日

土曜日

  1. METR報告、AnthropicのAI研究開発が約2倍に加速と指摘 ただし重要証拠は大幅に削除

    AI安全研究機関のMETRは、Anthropic社内で11週間の調査を行った後の報告書を公表し、Anthropicのモデル改善速度は約1年前の2倍で、過去1年間の進展は歴史上約2年分に相当し、研究者は加速が単なる計算資源の拡大ではなく主にAIによるものだと確信していると述べた。

  3. Artex AIハッキングツール数百件がインターネット上に公開される

    セキュリティ企業Censysのスキャンにより、800を超えるArtexの導入インスタンスがパスワードなしで公衆インターネットからアクセス可能であることが判明した。Artexはオープンソースの自律型ペネトレーションテストツールで、7月の公開以降、9月の韓国金融業界への攻撃や10月のConnectWiseへの攻撃など、複数のサイバー攻撃に関連付けられている。