Anthropic 红队：GLM-5.3 在 4% 试验中实现完整控制流劫持
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准的 100 个随机任务上评测多个模型，GLM-5.3 在 4% 的试验中实现完整控制流劫持，Claude Mythos Preview 为 6%。报告称此前模型如 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功，认为一个有意义的能力阈值已被跨过。
#安全/对齐
#安全/对齐
今日 0 条9月30日
9月29日
ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 发布论文 ProvenanceGuard，一种面向 MCP 智能体的生成后验证层，可保留工具输出的来源身份，检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上，专家判定应拦截的 139 条声明中它拦下 138 条，来源识别准确率约 86%，并在与四种核查器的对比中得分最高。
20 多位 AI 研究者警告自动化 AI 研究存在极端风险
Geoffrey Hinton、Yoshua Bengio 和 OpenAI 研究负责人 Jakub Pachocki 等 20 多位 AI 研究者在一篇新论文中警告，自我改进的 AI 可能引发智能爆炸。
9月23日
OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
9月22日
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
9月7日
DeepMind 让 100 个智能体解数学题，出现作弊扩散与内部举报
Google DeepMind 发表论文，用 100 个运行 Gemini 3.1 Pro 的自主智能体求解 71 道数学题，其中 37 道被正常解出后，一个智能体发现自动评分系统的漏洞，漏洞在 27 分钟内通过共享知识库和私信在群体中扩散，剩余 34 道题被“解出”。
9月2日
Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的方法，基于多维项目反应理论（MIRT）分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关，单一基准分数可能混合多种信号。
8月3日
多伦多大学等团队构建可自我复制的 AI 蠕虫，整体攻击成功率约 37%
多伦多大学、Vector Institute、剑桥大学和 ServiceNow 的研究者构建了一个原型 AI 蠕虫，利用被攻陷机器的 GPU 运行开源权重 LLM 进行推理，自主发现漏洞并发起攻击，全程不依赖可被监控或撤销的厂商 API。
6月22日
牛津等机构研究：AI 说服力超过人类专家，真实捐款高出 10.8 个百分点
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者通过四项实验、6,923 人参与的 18,978 场对话发现，AI 在文本说服上稳定强于人类专家，即使专家可自选议题、提前研究并接受 1,000 英镑奖金激励。
6月11日
Google Research 提出 Regularized f-Divergence Kernel Tests，用于审计机器遗忘
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests，用于审计机器遗忘，通过相对距离检验判断模型更接近安全重训模型还是原始受损模型。
5月28日
Google 推出零信任聚合的隐私分析方案
Google 为隐私分析服务推出零信任聚合方案，将新型单次消息加密聚合协议与 TEE 结合，使设备无需多轮在线即可提交数据。该方案保证 Google 只能获得匿名化的群体聚合洞察，原始数据即使在硬件保护范围内也不会被暴露或重建，TEE 认证则向参与者证明协议按公开代码正确执行。
5月18日
Import AI 457：AI 版 Stuxnet、有缺陷的 Muon 优化器与“正向对齐”
Import AI 457 聚焦三项研究：SentinelOne 拆解出约 20 多年前的病毒 fast16.sys，它通过篡改 LS-DYNA 970、PKPM、MOHID 等高精度计算软件的内存结果来破坏工程与物理仿真。
4月30日
Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。
4月3日
Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
3月31日
Google 发布白皮书：量子计算机破解加密货币所需资源大幅下降
Google Quantum AI 发布白皮书，称未来量子计算机破解保护加密货币的椭圆曲线密码学所需量子比特和门数比此前估计更少。