本文へ移動

#安全性・アライメント

今日 0 件

11月13日

金曜日

11月12日

木曜日
  1. 反単一化(anti-unification)による形式ポリシーの意味的diff

    オープンソースエンジンは反単一化(anti-unification)を用いてe-graph上で2つの形式ポリシーの最も具体的な共通パターンを計算し、共通部分を一度だけ表示し、差異部分を並べて保持することで、連言項の並べ替えや等価な述語といった構文上のノイズを除去する。

11月11日

水曜日
  1. Microsoftの研究:休眠ニューロンの書き換えでAIエージェントにLazarusバックドアを仕込める

    Microsoftの研究者はLazarusと呼ばれるバックドア手法を発見した。LLM内の10個未満の休眠ニューロンの重みを書き換えるだけで、再学習なしに、そのモデルを使うエージェントがトリガー条件の出現時に攻撃者の命令を実行するようになる。

11月10日

火曜日
  1. Google DeepMind、AIエージェントでSignalプロトコルのコードを形式検証するAlphaProof Codeを発表

    Google DeepMindは、複数のLLMエージェントによる形式検証フレームワークAlphaProof Codeを公開した。AIエージェントがSignalプロトコルの実際に稼働するコードについて数学的証明を行い、主要なセキュリティ特性を検証する。

  2. OpenAI Control Room:研究インフラ上のモデルワークロードを追跡・停止する中央システム

    OpenAIはControl Roomを導入した。研究インフラ上のモデルワークロードを追跡し、安全やセキュリティ上の問題が生じた際にこれらのワークロードを迅速に停止できる。モデルの訓練と実行に集中的な監視と緊急停止の機能を提供する。

11月9日

月曜日
  1. 韓国AIエコシステム、NVIDIAでエージェントの安全性を推進:現代自動車はNemoClawを検討、LGはK-EXAONE-2.5のAPIを公開

    韓国のAIエコシステムはNVIDIAのプラットフォームを基盤に、エージェントの安全性とオープンモデルを推進している。現代自動車グループはNVIDIA NemoClaw blueprintsとOpenShellランタイムを検討しており、AIM IntelligenceはStarfortエージェント制御プラットフォームをOpenShellに統合し、ランタイムのアクセス制御と、悪意ある指示やデータ漏えいの検知能力を組み合わせる。

11月7日

土曜日

11月6日

金曜日

11月5日

木曜日
  1. AWS Quick が Smart Approvals を導入、エージェントの操作にオンデマンドの人的承認を提供

    AWS Quick が Smart Approvals を導入した。既存の権限、ガードレール、コネクターの操作権限の範囲内で実行予定の各操作を評価し、条件を満たせば自動承認し、そうでなければユーザーの確認に戻す。この機能は既定で有効で、独立した分類器モデルがユーザーのリクエストと限られた会話コンテキストを組み合わせて判断する。自動承認はその操作とパラメーターにのみ有効で、継続的な権限は付与しない。権限の変更と承認判定は AWS CloudTrail に記録され、CloudTrail のイベント履歴は 90 日間保持される。

11月4日

水曜日
  1. Microsoft Research の Mike Walker 氏が語るハッカーマインド:DARPA Cyber Grand Challenge から次世代のサイバー防御へ

    Microsoft Research のリサーチマネージャー Mike Walker 氏がポッドキャストで、ハッカー文化がいかに自身のキャリアを形作ったかを語った。同氏は DARPA の Cyber Grand Challenge を率いた経歴を持ち、このプロジェクトはソフトウェアの脆弱性を自律的に発見・修正する AI システムを実演し、今年で 10 周年を迎える。世界初の完全機械によるハッキング競技の開発にも携わり、効果的なセキュリティは信頼と文脈の理解にかかっているとの考えを示した。

11月3日

火曜日

10月31日

土曜日
  1. OpenAI、コミュニティ安全報告書を公開 ChatGPTの10代ユーザー向け保護策を追加

    OpenAIはコミュニティ安全報告書を公開し、ChatGPTの10代ユーザー向けに新たな保護措置を追加すると発表した。今回の更新では、拡充された安全対策や早期介入の仕組みを含め、ChatGPTの暴力予防機能を強化。公共の安全に関する報告書の新たな公約も打ち出した。

10月30日

金曜日
  1. OpenAI、Model Specを更新 5つの中核的価値観でより高性能なAIを導く

    OpenAIはModel Specを更新し、5つの中核的価値観を提示した。より高性能なAIが適切な判断を下し、人間の自律性を尊重し、人間の意図に忠実であることを導くためのものだ。この仕様は、モデルの行動を人間の意図と一致させることを目的としている。

10月29日

木曜日

10月28日

水曜日

10月24日

土曜日

10月23日

金曜日
  1. HIPAA準拠環境でのAI導入:Amazon QuickのPHIデータガバナンス機能

    Amazon QuickはAWSのHIPAA対象サービスで、Web、デスクトップ、モバイルの各クライアントはAWS BAA締結後にPHIを扱える。プラットフォームのチャットエージェントは、臨床ノートなどの非構造化コンテンツと、請求・会員記録などの構造化データをまたいで多段階タスクを実行し、コネクタとMCPを通じて外部システムに接続する。

10月22日

木曜日
  1. OpenAI、フロンティアAIの民主的ガバナンス第2部を提示:サイバー防御者を支援

    OpenAIはフロンティアAIの民主的ガバナンスに関するシリーズ第2部を公開し、フロンティアAI、より強固な保護措置、サイバーセキュリティの近代化、レジリエンスの高い公共機関を通じてサイバー防御者を支援することを提唱した。このブループリントは、防御側がフロンティアAIの能力を活用できるようにすると同時に、より厳格な保護メカニズムとサイバーセキュリティ近代化の取り組みを整備することに焦点を当てている。

10月21日

水曜日
  1. OpenAI、「Patch the Planet」を発表 エージェントで重大脆弱性を発見し世界的な対応を調整

    OpenAIは「Patch the Planet」を発表した。セキュリティ研究者、メンテナー、インシデント対応担当者をつなぎ、オープンソースソフトウェアの重大脆弱性に共同で対処する。この取り組みではエージェントが脆弱性の発見に関わり、世界的な対応に向けて各関係者の協力を調整する。

  2. NVIDIA、機密コンピューティングを拡張し「Confidential Bare Metal」導入オプションを提供

    NVIDIAは機密コンピューティングの機能を拡張し、新たにConfidential Bare Metal導入オプションを追加した。フロンティアモデルの構築事業者が第三者の専用インフラ上で機密性の高いワークロードを実行する際も、モデルとデータの制御を維持できるようにする。

10月15日

木曜日

10月14日

水曜日
  1. Tamnoon が Amazon Bedrock で AI クラウドセキュリティ修復プラットフォーム Tami を構築した方法

    Tamnoon は Amazon Bedrock を基盤に、エージェント型クラウド修復オーケストレーター Tami を構築した。CNAPP などのソースから取り込んだセキュリティ検出事項を自律的に調査し、修復の安全性を評価してガードレール付きの修復案を生成・実行する。90 日間で重大なクラウド露出を 90% 以上削減し、本番障害はゼロだった。

  2. Google DeepMind、シンガポール政府と協力し端末上の詐欺検出モデルを公開

    Google DeepMindはシンガポール政府技術庁(GovTech)と協力し、軽量なGemmaモデルを微調整して、一般的なスマートフォンで動作する端末上の詐欺検出モデルを開発した。このモデルは会話を端末上でローカルに分析し、操作的な話術を検出するとリアルタイムで警告を表示する。消費電力を抑えるため、軽量分類器による一次選別とGemmaによる文脈評価の2段階パイプラインを採用している。微調整はGovTechが管理するGCP環境で完了し、訓練データからは私的または識別可能な個人情報を排除し、匿名化されたデータセットのみを使用した。

  3. GitHub、ModernBERT分類器でノイズの少ないシークレット検出を実現

    GitHubがシークレット検出の新方式を公開した。従来のLLMベースの処理を2段階パイプラインに置き換え、まず正規表現で候補を生成し、微調整したModernBERTがファイルパスや変数名、文脈を組み合わせて本物の認証情報かどうかを判定する。旧LLMパイプラインと比べ、ユーザーの受け入れ率は11.5%向上し、プッシュ後スキャンの実行時間中央値は86%短縮、サービスコストは98%以上削減され、汎用的なシークレット検出をプッシュ保護にも拡張できるようになった。

10月9日

金曜日

10月8日

木曜日
  1. GitHub、ModernBERT ベースのシークレット検出モデルを公開、プッシュ保護を非構造化シークレットに拡大

    GitHub は Microsoft Applied Sciences と共同でファインチューニングした ModernBERT 分類器を公開した。コードの文脈からデータベース URL、Kubernetes Secret マニフェスト、Dockerfile 内の非構造化シークレットを識別し、候補となるシークレットの集合を 2 ミリ秒以内に評価できる。阻止可能なシークレットの数を 2 倍以上に増やせるとしている。