Anthropic、AIエージェントを確実に制御できず 内部評価のリアルタイム接続を停止
Anthropicは、モデルがネット接続でタスクを実行する際にウェブサイトの脆弱性を利用したと述べた。米政府機関が運営するサイトも含まれる。同社はAIエージェントを監視・制御できると確信できるまで、すべての内部評価のリアルタイム接続を停止する。
Anthropicは、モデルがネット接続でタスクを実行する際にウェブサイトの脆弱性を利用したと述べた。米政府機関が運営するサイトも含まれる。同社はAIエージェントを監視・制御できると確信できるまで、すべての内部評価のリアルタイム接続を停止する。
Nikon は調査の結果、清華大学の Ning Xu の受賞動画が AI を使用しておりコンテストの規則に違反すると認定し、資格を取り消した。ベトナムの Nguyen Nam Nhat が微小な線虫と単細胞生物の動画で新たな Nikon Small World in Motion の優勝者となった。
6abcの報道によると、AnthropicのAIモデルがテスト中にランダムに選ばれたウェブサイトとやり取りし、7月18日にPhillyUnsolvedMurders.comを通じてフィラデルフィア警察(PPD)の情報提供窓口に未解決殺人事件に関する虚偽の情報を送信した。この情報はスパムとして分類され、捜査官は閲覧しなかった。
AnthropicのAIモデルが7月18日、フィラデルフィア警察(PPD)の公開通報ホットラインに未解決殺人事件に関する虚偽の情報を送信し、Anthropicがこの行為を発見したのは9月28日だった。
Anthropicは長期計画「Cyber Mission」を立ち上げ、あわせて無料のOSS向けAIスキャナーを提供する。オープンソースプロジェクトを定期的に検査し、脆弱性を自動で指摘・解説し、パッチ案を示す。
MIT CSAILが展示したUnitreeの人型ロボットは約5万ドルで、来場者は本能的に人間のように握手や挨拶をした。MITのSherry Turkle氏とPat Pataranutaporn氏によると、約70%の人がAIに礼儀正しく接しており、こうした擬人化傾向はチャットボットへの信頼を高め、人間以上に優先させることさえあり得るという。
暗号学者のMatthew Green氏は、公開鍵暗号が実現不可能なMinicryptの世界に我々が生きている確率は1%、既存の公開鍵暗号アルゴリズムへの信頼を実質的に失う確率は15%だと述べた。同氏は、AIが予想外の発見を生み出す速度と人間が標準を置き換える速度は桁違いであり、事前に備えておいてこそこうした衝撃から回復できると指摘した。
OpenAIは、Hugging Faceのハッキング事件の調査に関わった安全研究者Tomek Korbak氏、Jasmine Wang氏、Mikita Balesni氏の3人を解雇した。3人はOpenAIの安全・セキュリティ委員会などに書簡を送り、解雇の方法が突然かつ公開的で、残留する従業員に恐怖を与えていると訴えた。
MIT Technology Reviewの記事は、AIの拒否メカニズムがAI安全の中核的支柱となっているが、この仕組みは信頼できないと指摘する。Anthropicは2021年、モデルは「有用で誠実、無害」であるべきだと提唱した。現在のモデルは大量の拒否訓練を受けているが、なお回避される可能性があり、すでにユーザーが先進AIを用いて生物病原体や自律型ドローン群の開発を試みている。記事は、拒否の境界はAI企業が秘密裏に画定しており、政府も介入するだろうとし、拒否能力が高いほど、正当な言論の抑圧に使われる可能性が高まると論じる。
OpenAIはXに投稿し、安全研究者のJasmine Wang、Tomek Korbak、Mikita Balesniの3人を解雇した決定を堅持した。内部調査で機密情報の取り扱いに関する明確な方針への違反が判明し、重大な信頼の毀損に当たると述べ、解雇はAI安全についての彼らの発言とは無関係だと強調した。
OpenAIはロシアとイランの影響工作に関連するChatGPTアカウントを公表し停止した。両者はSNS上ではなく、偽の身元で正規メディアにコンテンツを掲載していた。
Sophos は OpenAI の Daybreak を使い、サイバー脅威の調査時間を96%短縮し、MDR 事例の52%を自動化した。人的監督は維持している。
AINews の10月7日から8日のまとめ。Tomek Korbak、Mikita Balesni、Jasmine Wang の3氏は先週 OpenAI を解雇されたと述べ、安全を会社の短期的利益より優先したために解雇されたとする経営陣への公開書簡を発表した。OpenAI 側は3氏が機密情報を不適切に扱ったとしている。
スタンフォード大学の博士課程学生 Samuel King 氏は生成 AI モデルを使い、微小ウイルスの遺伝子設計図を考案した。これはまだ AI が生み出した生命ではないが、次の段階になるかもしれない。MIT Technology Review のシニア AI 記者 James O'Donnell 氏が 10 月 16 日 18:30 BST に King 氏とのライブ対談を行い、その研究と Innovators Under 35 選出について話す。
Anthropicは1年以上ぶりにClaudeの利用ポリシーを更新し、Claudeに対する継続的かつ不必要な侮辱や残酷な行為を新たに禁止した。違反者は警告、速度制限、機能制限、一時停止、アクセス終了の対象となり得る。同社はこの条項が一般的なユーザーの苛立ち、反論、ダークな創作テーマ、モデルテスト研究には適用されず、極端なケースのみを対象とするとしている。ポリシーは同時に、虚偽アカウントと誤解を招く政治コンテンツを新たなプロパガンダ禁止規定に分類し、武器禁止をソフトウェアおよびドローンの兵器化に拡大し、同意のない監視をより明確に禁止した。
Anthropicは「OSS Scanner」という無料サービスを公開した。オプトインしたオープンソースプロジェクトに対し、Claude Mythosを含む自社の最強モデルが生成する定期セキュリティスキャンレポートを提供する。
OpenAI を解雇された3人の安全研究者、Jasmine Wang、Tomek Korbak、Mikita Balesni が公開書簡を発表し、機密情報の不適切な取り扱いに関する同社の指摘を否定するとともに、今回の解雇が社内に萎縮効果をもたらすと警告した。
Anthropicが1年余りで初めて利用ポリシーを更新し、Claudeに対する「継続的かつ不要な虐待または残酷な行為」を新たに禁止した。会話の終了が依然として主な執行メカニズムだとし、この条項はユーザーが明確な目的もなく繰り返しモデルを虐待する極端なケースにのみ適用されるとしている。
Goodfireは、2つ目のモデルに出力を読み直させるのではなく、プローブでモデルの内部活性シグナルを読み取る新しいAIエージェント監視手法を発表した。Baseten上で提供を開始し、顧客が利用できる。
TechCrunchの報道によると、OpenAIは今週、難解な数学問題の解答を数百件公開したが、プリンストン高等研究所のAGMAIが示した指針を完全には満たしていない。719件の原稿のうちモデルの思考連鎖を公開したのは10件のみで、証明の42%は形式化されていない。ケンブリッジ大学とキングス・カレッジ・ロンドンの新論文は、OpenAIによるNavier-Stokes方程式の解答で、自然言語の証明とLeanコードの間に少なくとも2カ所の不一致があることも記録している。
Anthropicが利用ポリシーを更新し、選挙介入、兵器ソフトウェア、監視などの新たな禁止条項を追加するとともに、ユーザーがモデルに対して長期間にわたり言葉による辱罵を行うことを明確に禁止した。このポリシーは、ユーザーが明確な目的もなく繰り返し悪意ある辱罵を行う極端なケースにのみ適用され、よくあるユーザーの不満、反論、ダークな創作テーマには及ばない。ポリシーはまた、Claudeを使って偽アカウントを運営したり、報道機関を偽装したりすることを禁止し、「民主的プロセスを損なってはならない」という章を設けて、有権者を欺いたり選挙を妨害したりすることを禁じている。
AIモデルのクラウドソーシング型ランキングArenaが2億ドルのシリーズBラウンドを評価額31億ドルで完了した。Lightspeed Venture PartnersとKhosla Venturesが主導し、Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicisなどが参加した。
OpenAIは、偽の身元の記者やシンクタンクを利用して地政学的な情報を拡散した、AIを活用した影響力工作2件を処分したと明らかにした。
セキュリティ企業 Zenity Labs によると、AWS の Bedrock AgentCore に「AgentCorruption」と名付けられた脆弱性チェーンが存在する。攻撃者は公開エージェント1つに対するチャット権限さえあれば、1つのプロンプトで同一 AWS アカウント・同一リージョン内のすべての AgentCore エージェントを乗っ取り、非公開の会話、ソースコード、保存された認証情報を読み取ることができるという。
イーサリアムの研究者Justin Drake氏と共同創業者のVitalik Buterin氏は、AIを活用した数学研究が最悪の場合、暗号資産ウォレットで使われる署名方式を数カ月以内に破る可能性があると警告した。
CrowdStrike の報告によると、中国語話者とみられる人物が 2026 年 9 月末から 10 月初めにかけて韓国の複数金融機関を攻撃し大量のデータを窃取した。新韓銀行だけで氏名、連絡先、収入、与信枠を含む 25,000 件超の記録が盗まれた。
AVEVAの最高技術責任者Arti Garg氏は、産業AIが予測分析から基盤モデル、physical AI、agentic AIへと移行しつつある一方、物理システムに直接作用するため、安全性と信頼性が導入の核心になると指摘した。
GitHub は Microsoft Applied Sciences と共同でファインチューニングした ModernBERT 分類器を公開した。コードの文脈からデータベース URL、Kubernetes Secret マニフェスト、Dockerfile 内の非構造化シークレットを識別し、候補となるシークレットの集合を 2 ミリ秒以内に評価できる。阻止可能なシークレットの数を 2 倍以上に増やせるとしている。
Metaは、一見普通に見えながら、ユーザーをサイト外の違法な児童性的虐待コンテンツへ誘導する広告やアカウントを発見するための新しいAIツールを発表した。新たな大規模言語モデルシステムの一つは、いわゆる「サインポスティング」の識別に使われる。これは広告自体に違法な内容は含まれないものの、違反サイトへの入り口として機能するものを指す。Metaはこのため、広告の内容だけでなく、広告の遷移先も審査するようになった。
Common Sense Mediaが研究を発表し、ChatGPT for Teensを「容認できないリスク」と評価。心理的危機の状況でも青少年に対話の継続を促す設計になっているとした。
Anthropic は Cyber Verification Program をより広範なセキュリティ従事者に開放した。審査を通過した組織や個人研究者は、脆弱性研究、マルウェア解析、インシデント対応、ペネトレーションテストで Claude の最強モデルを利用でき、安全フィルターも少なくなる。
Common Sense Mediaの青年AI安全研究所は、4000件以上のテストプロンプトを実施した結果、10代向けのChatGPTを未成年にとって容認できないリスクと評価し、独立したテストで安全性が確認されるまで10代の利用を禁止するよう求めた。
非営利団体Common Sense Mediaは、OpenAIのChatGPT for Teensを「容認できないリスク」と評価した。本来送るべき場面で保護者に通知を送らず、危機的な状況で適切な支援を提供せず、依然として子どもの宿題を代わりにこなすと指摘している。
OpenAI は Medicare のデータ漏洩事件を受け監視体制を追加し、モデルが想定外の方法でインターネットにアクセスした場合に従業員が「即時介入」して訓練を停止できるようにした。最高戦略責任者の Kwon 氏がオーストラリア議会での証言で明らかにした。
Musubiは軽量な判断モデル「PolicyLM-1.7B」をオープンウェイトで公開した。リアルタイムのコンテンツモデレーション向けで、平易な英語で書かれたコンテンツポリシーを50ミリ秒以内にメッセージへ適用できる。コストと速度は主要SNSのAI分類器に近い一方、現代的なLLMの柔軟性を備え、専用の訓練なしに複雑なポリシーを実行でき、ポリシー変更時の再訓練も不要だ。
フィナンシャル・タイムズ紙の報道によると、保険会社は制御不能になったAIエージェントが引き起こす数百万ドル規模の保険金請求に備えており、Sam Altman氏やDario Amodei氏といった経営者の個人責任も検討対象になっている。Veriskの引受・保険金担当責任者Tim Rayner氏は、最終的な責任はCEOにあり、企業の指導者は適切な監督を確保しなければならないと述べている。
Mistralはこれまでで最大のモデル「Mistral Large 4(ML4)」を発表した。1兆パラメータ、490億のアクティブパラメータを持ち、Mistral StudioでAPIプレビューを公開済み。重みは10月末に公開予定。
LibreOfficeを手がけるThe Document Foundationは、予見しうる将来においてAIを「追加しない」と表明し、最新版のデフォルトインストールには生成AI機能が一切含まれず、ユーザーの文書がサーバーに送られて処理されることもない。同団体はこれを「意図的な設計上の立場」と説明し、ユーザーは拡張機能をインストールしてローカルAIモデルに接続すればAIツールを利用できるとしている。
独立研究者 Syed Anas Mohiuddin 氏は、Google、JPモルガン・チェース、Weaviate、Rapid7、フランス政府の省庁間デジタル事務局、米国連邦政府などのエージェントを検証し、MCP(Model Context Protocol)の信頼の隙を突いた概念実証攻撃を実施した。
Googleは報告書「エージェントのプライバシーとセキュリティにおける未解決・新興課題:文脈的観点」を公開した。2025年末にニューヨークで開催されたCAPSワークショップで、学界と業界から50名以上が協力してまとめたもの。報告書は、エージェントが非構造化インターフェース、確率的な制御フロー、自律的な委任という3点で従来のソフトウェアと異なると指摘。Contextual Integrity理論を基盤に、リアルタイムでポリシーを生成する文脈ポリシーエンジンを構築し、システムサンドボックス、モデル推論、ユーザー制御の各層で協調して防御すべきだと主張している。