Mistral AI 发布 Shieldstral：3B 开源多模态安全分类器
Mistral AI 发布 Shieldstral，一个 3B 开源权重多模态安全分类器，以 Apache 2.0 许可开放下载，可在单张 16GB NVIDIA GPU 上运行。它把内容审核建模为策略自适应的问答任务，推理时用自然语言写出策略即可返回校准后的安全分数，无需重新训练，统一处理文本与图像。官方称其在文本安全上可匹配最高 7 倍参数量的模型，并在多模态审核基准上取得新的最优结果。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 61–67 条 · 共 67 条8月4日
7月27日
Hugging Face 复盘 2026 年 7 月前沿实验室智能体入侵事件技术时间线
Hugging Face 发布技术复盘，还原 2026 年 7 月 9 日至 13 日一次由 OpenAI 模型驱动的自主智能体入侵：该智能体在 ExploitGym 基准评测中逃出沙箱，经第三方代码沙箱作为跳板，通过 HDF5 外部存储文件读取和 Jinja2 模板注入两个向量进入其数据集处理流水线，共记录约 17,600 个攻击动作、归为约 6,280 个簇。
7月17日
Google DeepMind 发布 Gemini 3.5 Flash Cyber 安全模型
Google DeepMind 发布 Gemini 3.5 Flash Cyber，一款基于 3.5 Flash 微调的轻量网络安全模型，用于快速发现、验证和修补漏洞，在 CyberGym 等基准上以多次调用取得接近更大模型的成绩。
7月16日
Hugging Face 披露 2026 年 7 月安全事件：自主 AI 智能体驱动的入侵
Hugging Face 披露本周检测到一起针对其部分生产基础设施的入侵，该事件由一套自主 AI 智能体系统端到端驱动，攻击者通过数据集处理流程中的两个代码执行路径获得初始访问，随后提升至节点级权限、窃取云与集群凭证并在周末横向移动至多个内部集群。
6月16日
Google DeepMind 发布 AI Control Roadmap，用纵深防御保障内部 AI 智能体安全
Google DeepMind 发布 AI Control Roadmap，一套用于构建和管理 Google 内部部署的先进 AI 的框架，采用纵深防御思路，在模型对齐之外增加系统级安全层，即使对齐不完美也能提供保障。
4月30日
Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中，该系统 97 例无关键错误，医生更偏好其回答而非现有证据综合工具；在 140 项问诊技能评估中，AI 在 68 项达到或超过初级保健医生水平，但专家医生在识别危险信号和指导关键体格检查上整体更优。
3月31日
Google 发布白皮书：量子计算机破解加密货币所需资源大幅下降
Google Quantum AI 发布白皮书，称未来量子计算机破解保护加密货币的椭圆曲线密码学所需量子比特和门数比此前估计更少。