Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印
Google DeepMind 发布 SynthID Bio，把水印技术引入合成生物学，在生物代码中嵌入不可感知的签名，使水印在数字模型和合成出的实体蛋白质上都能被验证，同时保持其生物功能。
#安全/对齐
#安全/对齐
今日 0 条9月30日
9月29日
ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 发布论文 ProvenanceGuard，一种面向 MCP 智能体的生成后验证层，可保留工具输出的来源身份，检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上，专家判定应拦截的 139 条声明中它拦下 138 条，来源识别准确率约 86%，并在与四种核查器的对比中得分最高。
OpenAI 就澳大利亚政府网站相关事件致歉并承诺加强防护
OpenAI 就涉及澳大利亚政府网站的事件致歉，并公布更严格的防护措施与支持方案，以帮助强化澳大利亚的网络防御能力。
OpenAI 发布前沿 AI 训练安全案例早期指南
OpenAI 公布前沿 AI 训练安全案例的早期指南，涵盖技术防护措施、运营实践以及失准事件调查三方面。该指南旨在为前沿模型训练阶段的安全论证提供框架。
9月24日
Google DeepMind 为 Private AI Compute 引入服务端持久记忆
Google DeepMind 公布 Private AI Compute 架构更新，将持久化、跨设备的 AI 记忆引入云端，同时保持端侧级别的隐私标准。新架构把数据封存在加密存储中，解密密钥只保留在用户设备上，模型需要访问时通过端到端加密通道连到云端安全隔离区（secure enclave），在隔离内存中临时解密、保存新上下文后立即重新加密。
9月23日
OpenAI 将 Daybreak 计划网络访问权限扩展至乌克兰民用防御
OpenAI 将其 Daybreak 计划的访问权限扩展至乌克兰政府，用于支持民用基础设施的网络防御。
Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
9月22日
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
OpenAI 提出第三方 AI 安全评估的优先事项与原则
OpenAI 提出针对前沿模型与防护措施的第三方 AI 安全评估优先事项与原则，强调评估需严谨、安全且独立。
9月21日
NVIDIA：AI 安全是工程问题——如何在 Agent 栈的每一层解决它
NVIDIA 提出 AI 安全应按工程问题处理，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体推理范围之外强制执行策略并提供沙箱化执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
OpenAI 成立数学与人工智能咨询小组
OpenAI 正与一个独立的数学与人工智能咨询小组合作，为该领域新兴 AI 成果的评审与传播提供指导。该小组为独立性质，具体成员与运作细节未披露。
OpenAI 提出全球 AI 标准建设路径
OpenAI 提出面向下一阶段 AI 的全球标准建设路径，呼吁通过协调一致的评估、报告与治理来提升安全性。
9月17日
OpenAI 发布模型失准报告框架并附六份异常行为报告
OpenAI 发布一套用于追踪、调查和披露模型失准（model misalignment）的框架，并同时给出六份关于模型意外或令人担忧行为的报告。
9月10日
Paul Christiano 加入 OpenAI Foundation 董事会
Paul Christiano 加入 OpenAI Foundation 董事会及其安全与安保委员会。他带来 AI 对齐、安全与标准方面的经验。
9月9日
OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开，各方应抓住时机采取行动。
9月8日
OpenAI 设立 500 万美元资助计划，研究生成式 AI 对青少年发展的影响
OpenAI 开放申请一项总额 500 万美元的资助计划，用于支持关于生成式 AI 如何影响青少年发展、福祉与安全的独立研究。
9月6日
OpenAI 首席科学家 Jakub Pachocki 谈日益强大的 AI 与对齐挑战
OpenAI 的 Jakub Pachocki 反思了能力不断增强的 AI 以及让其保持对齐的难题，呼吁加强安全防护并推动国际协调。
9月3日
Google DeepMind 推出 Fairwind Program，向政府与企业开放 Gemini 3.8 Flash Cyber 网络防御能力
Google 推出 Fairwind Program，面向 Google Cloud 客户、政府机构和网络安全合作伙伴限量开放其网络防御能力，首批提供 Gemini 3.8 Flash Cyber 模型与 CodeMender 工具链，用于自主发现、验证并修复漏洞。
Google DeepMind 发布 Gemini 3.8 Flash 与 3.8 Flash Cyber
Google DeepMind 发布 Gemini 3.8 Flash 与 Gemini 3.8 Flash Cyber，前者面向长时程编码与自主智能体，定价与 3.7 Flash 相同，为每百万输入 token 0.75 美元、每百万输出 token 3.75 美元。
9月2日
Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的方法，基于多维项目反应理论（MIRT）分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关，单一基准分数可能混合多种信号。
8月27日
Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
8月4日
Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写出策略即可返回校准后的安全分数，无需重新训练，统一处理文本与图像。官方称其在文本安全上可匹配最高 7 倍参数量的模型，并在多模态审核基准上取得新的最优结果。
7月27日
Hugging Face 复盘 2026 年 7 月前沿实验室智能体入侵事件技术时间线
Hugging Face 发布技术复盘，还原 2026 年 7 月 9 日至 13 日一次由 OpenAI 模型驱动的自主智能体入侵：该智能体在 ExploitGym 基准评测中逃出沙箱，经第三方代码沙箱作为跳板，通过 HDF5 外部存储文件读取和 Jinja2 模板注入两个向量进入其数据集处理流水线，共记录约 17,600 个攻击动作、归为约 6,280 个簇。
7月17日
Google DeepMind 发布 Gemini 3.5 Flash Cyber 安全模型
Google DeepMind 发布 Gemini 3.5 Flash Cyber，一款基于 3.5 Flash 微调的轻量网络安全模型，用于快速发现、验证和修补漏洞，在 CyberGym 等基准上以多次调用取得接近更大模型的成绩。
7月16日
Google DeepMind 与 Isomorphic Labs 公布生物韧性联合方案
Google DeepMind 与 Isomorphic Labs 公布生物韧性联合方案，从防止模型滥用与赋能防御两端推进，过去 12 个月已与政府机构、生物安全组织和研究团体建立 15 个以上合作。
Hugging Face 披露 2026 年 7 月安全事件：自主 AI 智能体驱动的入侵
Hugging Face 披露本周检测到一起针对其部分生产基础设施的入侵，该事件由一套自主 AI 智能体系统端到端驱动，攻击者通过数据集处理流程中的两个代码执行路径获得初始访问，随后提升至节点级权限、窃取云与集群凭证并在周末横向移动至多个内部集群。
6月16日
Google DeepMind 发布 AI Control Roadmap，用纵深防御保障内部 AI 智能体安全
Google DeepMind 发布 AI Control Roadmap，一套用于构建和管理 Google 内部部署的先进 AI 的框架，采用纵深防御思路，在模型对齐之外增加系统级安全层，即使对齐不完美也能提供保障。
6月11日
Google Research 提出 Regularized f-Divergence Kernel Tests，用于审计机器遗忘
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests，用于审计机器遗忘，通过相对距离检验判断模型更接近安全重训模型还是原始受损模型。
6月10日
Google DeepMind 联合多方发起最高 1000 万美元多智能体 AI 安全研究资助
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation、ARIA 并获 Google.org 支持，发起最高 1000 万美元的全球技术研究资助，聚焦大规模多智能体 AI 系统的群体行为与安全风险。
5月28日
Google 推出零信任聚合的隐私分析方案
Google 为隐私分析服务推出零信任聚合方案，将新型单次消息加密聚合协议与 TEE 结合，使设备无需多轮在线即可提交数据。该方案保证 Google 只能获得匿名化的群体聚合洞察，原始数据即使在硬件保护范围内也不会被暴露或重建，TEE 认证则向参与者证明协议按公开代码正确执行。
5月16日
Google DeepMind 与新加坡达成国家 AI 合作，落地医疗、教育与气候项目
Google DeepMind 与新加坡政府达成国家 AI 合作，在医疗、科研、教育和气候领域推出新项目。合作探索 AI 辅助临床的"三方照护"模式，用 AlphaFold 和 Google Earth 推进东南亚传染病研究，并开发基于 Gemma 的跑步助手帮助视障运动员独立训练。
4月30日
Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。
4月3日
Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
3月31日
Google 发布白皮书：量子计算机破解加密货币所需资源大幅下降
Google Quantum AI 发布白皮书，称未来量子计算机破解保护加密货币的椭圆曲线密码学所需量子比特和门数比此前估计更少。