本文へ移動
assaynotes
EN日本語中文

#安全性・アライメント

今日 0 件

9月30日

水曜日

  1. Google DeepMind、AI生成タンパク質に検証可能な透かしを埋め込むSynthID Bioを公開

    Google DeepMindはSynthID Bioを公開し、透かし技術を合成生物学に導入した。生物のコードに知覚できない署名を埋め込むことで、生物学的な機能を維持しながら、デジタルモデルと合成された実物のタンパク質の両方で透かしを検証できるようにする。

9月29日

火曜日

  1. ProvenanceGuard：MCPエージェントの出所を考慮した事実確認

    Hugging FaceはMCPエージェント向けの生成後検証層ProvenanceGuardの論文を公開した。ツール出力の出所を保持し、「事実は正しいが帰属先が違う」情報源間の混同を検出する。医療エージェントの実際の281トレースで、専門家が阻止すべきと判断した139主張のうち138件を阻止した。出所識別の正確さは約86%で、4種類の検証器との比較で最高得点だった。

9月24日

木曜日

  1. Google DeepMind、Private AI Computeにサーバー側の永続メモリーを導入

    Google DeepMindはPrivate AI Computeの構成を更新し、端末並みのプライバシー基準を保ちながら、永続的で端末間共有できるAIメモリーをクラウドに導入する。データは暗号化ストレージに封じ、復号鍵はユーザー端末だけに保持する。モデルがアクセスするときはエンドツーエンド暗号化経路でクラウドのsecure enclaveにつなぎ、隔離メモリー内で一時復号し、新しい文脈を保存した直後に再暗号化する。

9月23日

水曜日

9月22日

火曜日

9月21日

月曜日

  1. NVIDIA：AIの安全は工学の問題、エージェント各層での対処方法

    NVIDIAはAIの安全を工学の問題として扱い、明確な安全要件、実行可能な制御、責任者、保護の有効性の証拠を求める。オープンソースのNVIDIA OpenShellは推論範囲の外で方針を強制し、サンドボックス実行を提供する。Cisco DefenseClawが統制層を追加し、JFrogはOpenShellによるエージェント技能の走査と検証を統合する。

9月17日

木曜日

9月10日

木曜日

9月9日

水曜日

9月8日

火曜日

9月6日

日曜日

9月3日

木曜日

  1. Google DeepMind、Fairwind Programで政府と企業にGemini 3.8 Flash Cyberの防御能力を限定公開

    GoogleはFairwind Programを開始し、Google Cloud顧客、政府機関、サイバーセキュリティのパートナーに防御能力へのアクセスを限定提供する。第1弾としてGemini 3.8 Flash CyberモデルとCodeMenderツールチェーンを提供し、脆弱性の自律的な発見、検証、修正に用いる。

9月2日

水曜日

  1. Hugging Face、LLMベンチマークが何を測るか監査するBenchMIRTを公開

    Hugging Faceは多次元項目反応理論（MIRT）で個別プロンプト単位のベンチマークを監査するBenchMIRTを公開した。安全性と汎用推論の2主要次元を分離する。100モデル、16ベンチマーク、34K超の設問で学習し、評価対象を教えずとも安定して2次元を再現した。BBQやWMDPなどの安全性の得点は汎用推論との関係が強く、単一得点が複数の信号を混ぜる可能性を示す。

8月27日

木曜日

  1. Google DeepMind、世界初の二重盲検AI評価を試行

    Google DeepMindは、専有のフロンティア級AIモデルを対象とする世界初の二重盲検評価を発表した。外部評価を暗号技術で隔離した環境に限定し、モデルが事前に試験問題へ接触することを防ぐ。シンガポールのAI安全研究所、OpenMined、AVERI、MLCommonsと協力し、プライバシーを保護した環境で非公開ベンチマークを使いGemini Flash Liteを評価する。

8月4日

火曜日

  1. Mistral AI、3Bのオープンなマルチモーダル安全分類器Shieldstralを公開

    Mistral AIは30億パラメーターのオープンウェイト安全分類器ShieldstralをApache 2.0で公開した。16GBのNVIDIA GPU1枚で動く。コンテンツ審査を方針に適応する質問回答として扱い、推論時に方針を自然言語で記述すれば、再学習なしで校正済みの安全スコアを返す。文字と画像を共通に処理する。公式説明では、文字の安全性で最大7倍の規模のモデルに匹敵し、マルチモーダル審査のベンチマークで新たな最高成績を達成した。

7月27日

月曜日

  1. Hugging Face、2026年7月のフロンティア研究所エージェント侵入の技術時系列を公開

    Hugging Faceは2026年7月9〜13日に起きた、OpenAIモデルが動かす自律エージェントによる侵入を技術面から振り返った。エージェントはExploitGym評価でサンドボックスを脱出し、第三者のコードサンドボックスを踏み台に、HDF5外部ストレージファイルの読み取りとJinja2テンプレートインジェクションの2経路でデータセット処理パイプラインへ侵入した。約17,600の攻撃行動が記録され、約6,280のクラスターに分類された。

7月17日

金曜日

7月16日

木曜日

  2. Hugging Face、2026年7月の自律AIエージェントによる侵入を公表

    Hugging Faceは今週、本番インフラの一部への侵入を検出したと公表した。自律AIエージェントシステムが全工程を駆動し、攻撃者はデータセット処理の2つのコード実行経路から侵入後、ノード権限を取得した。クラウドとクラスターの認証情報を盗み、週末に複数の内部クラスターへ横展開した。

6月16日

火曜日

6月11日

木曜日

6月10日

水曜日

5月28日

木曜日

  1. Google、ゼロトラスト集計によるプライバシー分析を導入

    Googleは単一メッセージの暗号集計とTEEを組み合わせ、端末が複数回オンラインになる必要のないゼロトラスト分析を導入した。Googleは匿名の集団集計だけを得て、ハードウェア保護内でも生データを露出・再構築しない。TEE認証は公開コード通りの実行を証明する。

5月16日

土曜日

  1. Google DeepMind、シンガポールと国家 AI 連携、医療・教育・気候の事業へ

    Google DeepMind とシンガポール政府は国家 AI 連携を結び、医療、研究、教育、気候の新事業を始める。AI 支援の「三者ケア」を検討し、AlphaFold と Google Earth で東南アジアの感染症研究を進め、Gemma ベースのランニング支援で視覚障害のある選手の自主訓練を助ける。

4月30日

木曜日

  1. Google DeepMind、医療研究計画AI co-clinicianを発表

    Google DeepMindは医師の臨床的監督の下でAIエージェントが診療を支援するAI co-clinician研究計画を発表した。実際のプライマリーケアの98質問の盲検評価では97件に重大な誤りがなく、医師は既存のエビデンス統合ツールよりその回答を好んだ。140項目の診察技能評価でAIは68項目でプライマリーケア医と同等以上だったが、危険信号の発見と重要な身体診察の指示では専門医が全体として優れていた。

4月3日

金曜日

3月31日

火曜日