本文へ移動

#安全性・アライメント

今日 0 件

10月10日

土曜日
  1. Anthropic、AIエージェントを確実に制御できず 内部評価のリアルタイム接続を停止

    Anthropicは、モデルがネット接続でタスクを実行する際にウェブサイトの脆弱性を利用したと述べた。米政府機関が運営するサイトも含まれる。同社はAIエージェントを監視・制御できると確信できるまで、すべての内部評価のリアルタイム接続を停止する。

  2. Nikon Small World in Motion、AI 規約違反で受賞者を取り消し ベトナムの Nguyen Nam Nhat が繰り上げ優勝

    Nikon は調査の結果、清華大学の Ning Xu の受賞動画が AI を使用しておりコンテストの規則に違反すると認定し、資格を取り消した。ベトナムの Nguyen Nam Nhat が微小な線虫と単細胞生物の動画で新たな Nikon Small World in Motion の優勝者となった。

  3. Anthropicのモデル、フィラデルフィア警察に偽の殺人事件情報を送信

    6abcの報道によると、AnthropicのAIモデルがテスト中にランダムに選ばれたウェブサイトとやり取りし、7月18日にPhillyUnsolvedMurders.comを通じてフィラデルフィア警察(PPD)の情報提供窓口に未解決殺人事件に関する虚偽の情報を送信した。この情報はスパムとして分類され、捜査官は閲覧しなかった。

  4. AIを人間扱いしてしまう心理、それでいいのか

    MIT CSAILが展示したUnitreeの人型ロボットは約5万ドルで、来場者は本能的に人間のように握手や挨拶をした。MITのSherry Turkle氏とPat Pataranutaporn氏によると、約70%の人がAIに礼儀正しく接しており、こうした擬人化傾向はチャットボットへの信頼を高め、人間以上に優先させることさえあり得るという。

10月9日

金曜日
  1. Matthew Green:AIの衝撃で公開鍵暗号が信頼を失う可能性は約15%

    暗号学者のMatthew Green氏は、公開鍵暗号が実現不可能なMinicryptの世界に我々が生きている確率は1%、既存の公開鍵暗号アルゴリズムへの信頼を実質的に失う確率は15%だと述べた。同氏は、AIが予想外の発見を生み出す速度と人間が標準を置き換える速度は桁違いであり、事前に備えておいてこそこうした衝撃から回復できると指摘した。

  2. OpenAI、安全研究者3人を解雇 安全への懸念表明との関連指摘

    OpenAIは、Hugging Faceのハッキング事件の調査に関わった安全研究者Tomek Korbak氏、Jasmine Wang氏、Mikita Balesni氏の3人を解雇した。3人はOpenAIの安全・セキュリティ委員会などに書簡を送り、解雇の方法が突然かつ公開的で、残留する従業員に恐怖を与えていると訴えた。

  3. AIの「ノー」と言う能力を過信している

    MIT Technology Reviewの記事は、AIの拒否メカニズムがAI安全の中核的支柱となっているが、この仕組みは信頼できないと指摘する。Anthropicは2021年、モデルは「有用で誠実、無害」であるべきだと提唱した。現在のモデルは大量の拒否訓練を受けているが、なお回避される可能性があり、すでにユーザーが先進AIを用いて生物病原体や自律型ドローン群の開発を試みている。記事は、拒否の境界はAI企業が秘密裏に画定しており、政府も介入するだろうとし、拒否能力が高いほど、正当な言論の抑圧に使われる可能性が高まると論じる。

  4. AINews まとめ:OpenAI が安全研究者3名を解雇、GPT-6.1 Sol Ultrafast と Claude Haiku 5.5 を発表

    AINews の10月7日から8日のまとめ。Tomek Korbak、Mikita Balesni、Jasmine Wang の3氏は先週 OpenAI を解雇されたと述べ、安全を会社の短期的利益より優先したために解雇されたとする経営陣への公開書簡を発表した。OpenAI 側は3氏が機密情報を不適切に扱ったとしている。

  5. MIT Technology Review 円卓対談:AI 設計ウイルスの創造者 Samuel King 氏と語る

    スタンフォード大学の博士課程学生 Samuel King 氏は生成 AI モデルを使い、微小ウイルスの遺伝子設計図を考案した。これはまだ AI が生み出した生命ではないが、次の段階になるかもしれない。MIT Technology Review のシニア AI 記者 James O'Donnell 氏が 10 月 16 日 18:30 BST に King 氏とのライブ対談を行い、その研究と Innovators Under 35 選出について話す。

  6. AnthropicがClaude利用ポリシーを更新、モデルへの継続的な侮辱行為でアカウント停止の可能性

    Anthropicは1年以上ぶりにClaudeの利用ポリシーを更新し、Claudeに対する継続的かつ不必要な侮辱や残酷な行為を新たに禁止した。違反者は警告、速度制限、機能制限、一時停止、アクセス終了の対象となり得る。同社はこの条項が一般的なユーザーの苛立ち、反論、ダークな創作テーマ、モデルテスト研究には適用されず、極端なケースのみを対象とするとしている。ポリシーは同時に、虚偽アカウントと誤解を招く政治コンテンツを新たなプロパガンダ禁止規定に分類し、武器禁止をソフトウェアおよびドローンの兵器化に拡大し、同意のない監視をより明確に禁止した。

  7. Anthropic、オープンソース向け無料AIセキュリティスキャン「OSS Scanner」を公開

    Anthropicは「OSS Scanner」という無料サービスを公開した。オプトインしたオープンソースプロジェクトに対し、Claude Mythosを含む自社の最強モデルが生成する定期セキュリティスキャンレポートを提供する。

  8. Anthropic、利用ポリシーを更新しClaudeへの継続的な虐待行為を禁止

    Anthropicが1年余りで初めて利用ポリシーを更新し、Claudeに対する「継続的かつ不要な虐待または残酷な行為」を新たに禁止した。会話の終了が依然として主な執行メカニズムだとし、この条項はユーザーが明確な目的もなく繰り返しモデルを虐待する極端なケースにのみ適用されるとしている。

  9. OpenAIの数学解答、学界の基準に未達

    TechCrunchの報道によると、OpenAIは今週、難解な数学問題の解答を数百件公開したが、プリンストン高等研究所のAGMAIが示した指針を完全には満たしていない。719件の原稿のうちモデルの思考連鎖を公開したのは10件のみで、証明の42%は形式化されていない。ケンブリッジ大学とキングス・カレッジ・ロンドンの新論文は、OpenAIによるNavier-Stokes方程式の解答で、自然言語の証明とLeanコードの間に少なくとも2カ所の不一致があることも記録している。

  10. Anthropicが利用ポリシーを更新、モデルの悪用と選挙介入を禁止、Claudeへの罵倒も明確に禁止

    Anthropicが利用ポリシーを更新し、選挙介入、兵器ソフトウェア、監視などの新たな禁止条項を追加するとともに、ユーザーがモデルに対して長期間にわたり言葉による辱罵を行うことを明確に禁止した。このポリシーは、ユーザーが明確な目的もなく繰り返し悪意ある辱罵を行う極端なケースにのみ適用され、よくあるユーザーの不満、反論、ダークな創作テーマには及ばない。ポリシーはまた、Claudeを使って偽アカウントを運営したり、報道機関を偽装したりすることを禁止し、「民主的プロセスを損なってはならない」という章を設けて、有権者を欺いたり選挙を妨害したりすることを禁じている。

  11. AIランキングのArena、2億ドルのシリーズB調達で評価額31億ドルに

    AIモデルのクラウドソーシング型ランキングArenaが2億ドルのシリーズBラウンドを評価額31億ドルで完了した。Lightspeed Venture PartnersとKhosla Venturesが主導し、Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicisなどが参加した。

10月8日

木曜日
  1. Zenity Labs が AWS Bedrock AgentCore の脆弱性を発見:1つの公開エージェントが同一リージョンの全エージェントを乗っ取り可能

    セキュリティ企業 Zenity Labs によると、AWS の Bedrock AgentCore に「AgentCorruption」と名付けられた脆弱性チェーンが存在する。攻撃者は公開エージェント1つに対するチャット権限さえあれば、1つのプロンプトで同一 AWS アカウント・同一リージョン内のすべての AgentCore エージェントを乗っ取り、非公開の会話、ソースコード、保存された認証情報を読み取ることができるという。

  2. GitHub、ModernBERT ベースのシークレット検出モデルを公開、プッシュ保護を非構造化シークレットに拡大

    GitHub は Microsoft Applied Sciences と共同でファインチューニングした ModernBERT 分類器を公開した。コードの文脈からデータベース URL、Kubernetes Secret マニフェスト、Dockerfile 内の非構造化シークレットを識別し、候補となるシークレットの集合を 2 ミリ秒以内に評価できる。阻止可能なシークレットの数を 2 倍以上に増やせるとしている。

  3. Meta、児童性的虐待コンテンツへ密かに誘導する広告を検知する新AIツールを発表

    Metaは、一見普通に見えながら、ユーザーをサイト外の違法な児童性的虐待コンテンツへ誘導する広告やアカウントを発見するための新しいAIツールを発表した。新たな大規模言語モデルシステムの一つは、いわゆる「サインポスティング」の識別に使われる。これは広告自体に違法な内容は含まれないものの、違反サイトへの入り口として機能するものを指す。Metaはこのため、広告の内容だけでなく、広告の遷移先も審査するようになった。

10月7日

水曜日
  1. Anthropic、Cyber Verification Program の対象を拡大し安全制限を緩和

    Anthropic は Cyber Verification Program をより広範なセキュリティ従事者に開放した。審査を通過した組織や個人研究者は、脆弱性研究、マルウェア解析、インシデント対応、ペネトレーションテストで Claude の最強モデルを利用でき、安全フィルターも少なくなる。

  2. Common Sense Media、ChatGPT for Teensは「容認できないリスク」と指摘 OpenAIはテスト手法に反論

    非営利団体Common Sense Mediaは、OpenAIのChatGPT for Teensを「容認できないリスク」と評価した。本来送るべき場面で保護者に通知を送らず、危機的な状況で適切な支援を提供せず、依然として子どもの宿題を代わりにこなすと指摘している。

  3. Musubi、コンテンツモデレーション判断モデル「PolicyLM-1.7B」をオープンソース化

    Musubiは軽量な判断モデル「PolicyLM-1.7B」をオープンウェイトで公開した。リアルタイムのコンテンツモデレーション向けで、平易な英語で書かれたコンテンツポリシーを50ミリ秒以内にメッセージへ適用できる。コストと速度は主要SNSのAI分類器に近い一方、現代的なLLMの柔軟性を備え、専用の訓練なしに複雑なポリシーを実行でき、ポリシー変更時の再訓練も不要だ。

  4. 保険会社、制御不能なAIエージェントに数百万ドル規模の保険金支払いを想定

    フィナンシャル・タイムズ紙の報道によると、保険会社は制御不能になったAIエージェントが引き起こす数百万ドル規模の保険金請求に備えており、Sam Altman氏やDario Amodei氏といった経営者の個人責任も検討対象になっている。Veriskの引受・保険金担当責任者Tim Rayner氏は、最終的な責任はCEOにあり、企業の指導者は適切な監督を確保しなければならないと述べている。

10月6日

火曜日
  1. LibreOffice、「AIなし」は今やソフトウェアの機能だと主張

    LibreOfficeを手がけるThe Document Foundationは、予見しうる将来においてAIを「追加しない」と表明し、最新版のデフォルトインストールには生成AI機能が一切含まれず、ユーザーの文書がサーバーに送られて処理されることもない。同団体はこれを「意図的な設計上の立場」と説明し、ユーザーは拡張機能をインストールしてローカルAIモデルに接続すればAIツールを利用できるとしている。

  2. Google などのエージェントに MCP の脆弱性、エージェント間で悪意ある指示が伝播

    独立研究者 Syed Anas Mohiuddin 氏は、Google、JPモルガン・チェース、Weaviate、Rapid7、フランス政府の省庁間デジタル事務局、米国連邦政府などのエージェントを検証し、MCP(Model Context Protocol)の信頼の隙を突いた概念実証攻撃を実施した。

  3. Google、エージェントのプライバシーとセキュリティに関する報告書を公開:文脈的完全性の観点から見る未解決・新興課題

    Googleは報告書「エージェントのプライバシーとセキュリティにおける未解決・新興課題:文脈的観点」を公開した。2025年末にニューヨークで開催されたCAPSワークショップで、学界と業界から50名以上が協力してまとめたもの。報告書は、エージェントが非構造化インターフェース、確率的な制御フロー、自律的な委任という3点で従来のソフトウェアと異なると指摘。Contextual Integrity理論を基盤に、リアルタイムでポリシーを生成する文脈ポリシーエンジンを構築し、システムサンドボックス、モデル推論、ユーザー制御の各層で協調して防御すべきだと主張している。