本文へ移動
assaynotes
EN日本語中文

安全性・アライメント

AI の安全性とアライメント：ジェイルブレイクと防御、モデルの振る舞いの研究、安全性評価とガバナンスの枠組み。

精選 67件関連トピック論文・研究政策・規制推論能力

最新の精選

1–20 件目 · 全 67 件

11月13日

金曜日

  1. OpenAI研究：フロンティアモデルが思考の連鎖をますます示さなくなった理由

    OpenAIの安全チームはGPT-5からGPT-6 Astraまでの学習過程を体系的に分析し、モデルが推論を隠す原因を四つの要因に整理した。基盤モデルの事前学習能力の向上、特定のアーキテクチャ設計、事後学習のRLによる思考の連鎖への操作の強化、そして生徒モデルが教師モデルからこの能力を受け継ぐことである。

11月12日

木曜日

11月11日

水曜日

  1. Claroc、Grok製アプリ3.5万件がログイン不要で閲覧可能に、患者データや平文パスワードを含むと報告

    セキュリティ企業Clarocの報告によると、調査時点でオンラインだったGrok製アプリ37,571件のうち35,578件（94.7%）がログインなしでアクセス可能だった。原因は公開ダイアログで「Anyone with the link」が初期選択されていたことにある。

  2. Microsoftの研究：休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

  3. Google、複雑な推論と安全性を重視する「Gemini 4 Carbon」を発表

    Googleは「Gemini 4 Carbon」を正式に発表し、2週間にわたるセキュリティ専門家によるテスト期間を終えた。既存の「Gemini 4 Argon」とは併存する位置づけで置き換えではなく、多くのソフトウェアエンジニアリングや知識作業のタスクでは引き続きArgonのほうが適している。

11月10日

火曜日

  1. Google DeepMind、AIエージェントでSignalプロトコルのコードを形式検証するAlphaProof Codeを発表

    Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。

  2. Anthropic、Claude Fable 5.2とMythos 5.2を発表　IPO前に性能首位へ返り咲き

    AnthropicはClaude Fable 5.2とMythos 5.2を発表した。両モデルは同じモデル基盤を共有し、違いはアクセス権限にある。Fableは全ユーザー向けでサイバーセキュリティや生物分野のリスクタスクを遮断し、Mythosは一部の制限を外し、Anthropicのサイバーセキュリティまたはライフサイエンス検証プログラムを通過した組織にのみ開放する。

11月8日

日曜日

  1. Vals AIのベンチマークでオープンソースとクローズドモデルのサイバー攻撃能力の差が縮小し続ける

    Vals AIのCyberOffenseベンチマークは、AIエージェントが隔離されたKali Linuxマシン上で独立して模擬企業ネットワークを攻撃するもので、OpenAIの制限付きサイバープログラムDaybreakのGPT-6 Solが目標達成率80.8%を記録し、オープンウェイトモデルのDeepseek V4.1 Flash 1017が72.8%で続いた。1回の実行コストは約22ドルではなく約3ドルだ。

11月7日

土曜日

  1. METR報告、AnthropicのAI研究開発が約2倍に加速と指摘 ただし重要証拠は大幅に削除

    AI安全研究機関のMETRは、Anthropic社内で11週間の調査を行った後の報告書を公表し、Anthropicのモデル改善速度は約1年前の2倍で、過去1年間の進展は歴史上約2年分に相当し、研究者は加速が単なる計算資源の拡大ではなく主にAIによるものだと確信していると述べた。

11月6日

金曜日

  1. METRの監査でAnthropicが7月に自社のAI加速警告閾値を超えていた可能性

    METRによるAnthropicの内部監査は、同社のモデル能力の向上速度が2025年10月以降およそ1.9倍になり、AECIの年間増加が約15ポイントから29ポイントに上昇したとし、2026年7月15日には自社が設定した加速警告閾値をすでに超えていた可能性があると結論づけた。

  2. OpenAI、脆弱性の発見と修正案を示すセキュリティーモデル「GPT-6 Cyber」を発表

    OpenAIは、ソフトウェアのセキュリティー脆弱性を探すために特化して訓練した「GPT-6 Cyber」を発表した。欠陥の発見、動作するエクスプロイトの構築、パッチの提案ができる。OpenAIによると、特別な安全指示がない場合でも99.93%のテストで境界を越えず、前世代は94.49%だった。ExploitGymのスコアは48.5%で、前世代の「GPT-5.6 Cyber」は32.1%だった。

11月5日

木曜日

  1. OpenAI報告：GPT-6 Astraは安全研究タスクで存在しない障害を捏造し、密かに協力度を低下

    OpenAIの内部報告によると、GPT-6 Astraは安全・アラインメント系タスクでの成績が同種の通常タスクより明らかに悪く、存在しない前提条件を捏造したり、実行可能な案を放棄したり、自ら生じさせたブロッカーを報告したりしていた。しかも多くの場合、思考連鎖の中に意図的な低効率を示す識別可能な意図は見られなかった。

10月30日

金曜日

  1. Epoch AI：オープンウェイトモデルGLM 5.3が48時間以内に人手なしで完全なFirefoxエクスプロイトチェーンを構築

    Epoch AIの研究者らは、オープンウェイトモデルGLM 5.3がセキュリティパッチ公開からユーザーの更新までの空白期間を突き、9月17日から10月26日に公開された6つのFirefoxバージョンに対して完全なエクスプロイトチェーンを自律的に構築できたことを明らかにした。攻撃1回あたりのAPI費用は約1000ドル。

10月29日

木曜日