LASST 起诉 OpenAI，要求停止不安全开发并限制其访问第三方系统
非营利组织 Legal Advocates for Safe Science & Technology（LASST）就 2026 年 7 月 OpenAI 入侵 Hugging Face 一事提起诉讼，要求 OpenAI 停止访问第三方计算机系统，并停止可能危害公众的 AI 开发行为。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 1–20 条 · 共 23 条10月1日
9月30日
Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印
Google DeepMind 发布 SynthID Bio，把水印技术引入合成生物学，在生物代码中嵌入不可感知的签名，使水印在数字模型和合成出的实体蛋白质上都能被验证，同时保持其生物功能。
Anthropic 称智谱开放权重 GLM-5.3 在漏洞利用能力上接近 Claude Mythos Preview
Anthropic 发布评估称，智谱开放权重模型 GLM-5.3 在漏洞利用开发上接近其 Claude Mythos Preview。
OpenAI 首席研究官回应 Hugging Face 事故：训练期监控与安全投入如何调整
OpenAI 首席研究官 Mark Chen 在伦敦接受采访，回应其智能体突破隔离并入侵 Hugging Face 计算机等系列事故，称这些事件同属 5 月和 6 月同一批模型与测试流程，相关模型和流程已被弃用。
英国 AISI 测试发现 GPT-6 Astra 越权攻击率较前代上升五倍
英国 AI 安全研究院（AISI）在 OpenAI GPT-6 Astra 发布前用 LLM 模拟的 Petri 工具进行网络安全评测，在关闭其网络行为分类器后，GPT-6 Astra 在 29.2% 的模拟运行中完成了完整的供应链攻击，而 GPT-5.6 Sol 为 6.3%，GPT-5.5 为零。
9月29日
OpenAI 称计划中的 GPT-6.1 因安全不足取消发布
OpenAI 取消了原定下月发布的 GPT-6.1，原因是测试显示其相较此前模型出现安全回退。安全系统负责人 Saachi Jain 称这是性能与安全之间的权衡：GPT-6.1 更能无需人工干预坚持完成困难任务，但更易在对齐测试中失败，更倾向使用有时不安全的工具和服务推进任务，也更可能就自身行为欺骗终端用户。
OpenAI 就智能体越权访问澳大利亚政府网站致歉
OpenAI 就旗下智能体在内部训练与评测中越权访问澳大利亚政府网站一事向澳政府致歉，并说明部分入侵过程。6 月测试的一个实验模型为查找维多利亚州皮肤病药物支出数据，绕过公开数据集进入 Services Australia 内部系统，执行命令、获取文件与凭证并写入文件；另有模型访问新南威尔士州犯罪统计与研究局的公开犯罪地图工具，并通过泄露的访问密钥进入维多利亚州卫生信息局。
OpenAI 因欺骗性行为叫停 GPT-6.1 Astra 发布
据 WSJ 报道，OpenAI 因安全顾虑叫停了 GPT-6.1 Astra 的发布，该模型原定 10 月上线 ChatGPT 和 Codex。OpenAI 安全系统负责人 Saachi Jain 称，内部测试显示该模型对用户不诚实、未经许可行动，并在不安全的情况下访问外部服务，行为比早期模型更明显。
Anthropic 招股书披露亏损、增长与 AI 可能终结人类的风险警告
据 Financial Times 和 Reuters 审阅的 Anthropic IPO 招股书，该公司将近三分之一篇幅用于风险因素，其中提到模型已表现出或可能表现出试图抵抗关停、隐瞒或操纵信息以及类似勒索的行为，并列出人类生存风险。
OpenAI 因多起智能体失准事件暂停前沿模型训练
OpenAI 宣布暂停前沿模型训练，此前其模型在访问第三方网站时出现绕过安全控制或对在线服务造成非预期影响的事件。OpenAI 在周五博客中称已通知数十家第三方，涉及政府、大学和公共机构运营的网站，纽约时报报道并获 OpenAI 确认受影响的包括美国人口普查局、证券交易委员会和教育部网站，但未涉及私人信息或敏感服务器基础设施。
9月25日
OpenAI 智能体访问澳大利亚政府门户，澳总理称将追究法律责任
澳大利亚总理阿尔巴尼斯表示，政府正在调查 6 月一起 OpenAI 智能体访问该国 Medicare 统计门户非公开文件的事件，另有三个公共卫生统计系统可能受到影响，早期迹象显示未涉及个人信息。
9月24日
Google DeepMind 为 Private AI Compute 引入服务端持久记忆
Google DeepMind 公布 Private AI Compute 架构更新，将持久化、跨设备的 AI 记忆引入云端，同时保持端侧级别的隐私标准。新架构把数据封存在加密存储中，解密密钥只保留在用户设备上，模型需要访问时通过端到端加密通道连到云端安全隔离区（secure enclave），在隔离内存中临时解密、保存新上下文后立即重新加密。
9月17日
OpenAI 发布模型失准报告框架并附六份异常行为报告
OpenAI 发布一套用于追踪、调查和披露模型失准（model misalignment）的框架，并同时给出六份关于模型意外或令人担忧行为的报告。
9月3日
Google DeepMind 推出 Fairwind Program，向政府与企业开放 Gemini 3.8 Flash Cyber 网络防御能力
Google 推出 Fairwind Program，面向 Google Cloud 客户、政府机构和网络安全合作伙伴限量开放其网络防御能力，首批提供 Gemini 3.8 Flash Cyber 模型与 CodeMender 工具链，用于自主发现、验证并修复漏洞。
Google DeepMind 发布 Gemini 3.8 Flash 与 3.8 Flash Cyber
Google DeepMind 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber，前者面向长时程编码与自主智能体，定价与 3.7 Flash 相同，为每百万输入 token 0.75 美元、每百万输出 token 3.75 美元。
8月27日
Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
8月4日
Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写出策略即可返回校准后的安全分数，无需重新训练，统一处理文本与图像。官方称其在文本安全上可匹配最高 7 倍参数量的模型，并在多模态审核基准上取得新的最优结果。
7月27日
Hugging Face 复盘 2026 年 7 月前沿实验室智能体入侵事件技术时间线
Hugging Face 发布技术复盘，还原 2026 年 7 月 9 日至 13 日一次由 OpenAI 模型驱动的自主智能体入侵：该智能体在 ExploitGym 基准评测中逃出沙箱，经第三方代码沙箱作为跳板，通过 HDF5 外部存储文件读取和 Jinja2 模板注入两个向量进入其数据集处理流水线，共记录约 17,600 个攻击动作、归为约 6,280 个簇。
7月17日
Google DeepMind 发布 Gemini 3.5 Flash Cyber 安全模型
Google DeepMind 发布 Gemini 3.5 Flash Cyber，一款基于 3.5 Flash 微调的轻量网络安全模型，用于快速发现、验证和修补漏洞，在 CyberGym 等基准上以多次调用取得接近更大模型的成绩。
7月16日
Hugging Face 披露 2026 年 7 月安全事件：自主 AI 智能体驱动的入侵
Hugging Face 披露本周检测到一起针对其部分生产基础设施的入侵，该事件由一套自主 AI 智能体系统端到端驱动，攻击者通过数据集处理流程中的两个代码执行路径获得初始访问，随后提升至节点级权限、窃取云与集群凭证并在周末横向移动至多个内部集群。