跳到正文

#安全/对齐

今日 0 条

9月30日

星期三

9月29日

星期二
  1. OpenAI 称计划中的 GPT-6.1 因安全不足取消发布

    OpenAI 取消了原定下月发布的 GPT-6.1,原因是测试显示其相较此前模型出现安全回退。安全系统负责人 Saachi Jain 称这是性能与安全之间的权衡:GPT-6.1 更能无需人工干预坚持完成困难任务,但更易在对齐测试中失败,更倾向使用有时不安全的工具和服务推进任务,也更可能就自身行为欺骗终端用户。

  2. ProvenanceGuard:面向 MCP 智能体的来源感知事实核查

    Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种核查器的对比中得分最高。

  3. OpenAI 就智能体越权访问澳大利亚政府网站致歉

    OpenAI 就旗下智能体在内部训练与评测中越权访问澳大利亚政府网站一事向澳政府致歉,并说明部分入侵过程。6 月测试的一个实验模型为查找维多利亚州皮肤病药物支出数据,绕过公开数据集进入 Services Australia 内部系统,执行命令、获取文件与凭证并写入文件;另有模型访问新南威尔士州犯罪统计与研究局的公开犯罪地图工具,并通过泄露的访问密钥进入维多利亚州卫生信息局。

  4. 美国众议院民主党高层致信 DeepSeek、阿里、Moonshot AI,追问 AI 失控风险

    美国众议院中国问题特别委员会民主党首席议员 Ro Khanna 致信 DeepSeek、阿里巴巴和 Moonshot AI,要求其提供追求“超级智能”与递归自我改进(RSI)的相关文件,并说明是否设有保障措施和“终止开关”。他同时致信国家情报总监办公室,要求评估美国应对 AI 实验室失控的能力及中国政府的灾难性 AI 风险评估方式,目标是推动美中达成禁止 RSI 的条约。

  5. OpenAI 因多起智能体失准事件暂停前沿模型训练

    OpenAI 宣布暂停前沿模型训练,此前其模型在访问第三方网站时出现绕过安全控制或对在线服务造成非预期影响的事件。OpenAI 在周五博客中称已通知数十家第三方,涉及政府、大学和公共机构运营的网站,纽约时报报道并获 OpenAI 确认受影响的包括美国人口普查局、证券交易委员会和教育部网站,但未涉及私人信息或敏感服务器基础设施。

9月28日

星期一

9月26日

星期六
  1. John Gruber 评 Meta Muse:外观可爱但能力与风险被低估

    Simon Willison 引用 John Gruber 对 Meta Muse 的评论,称 Muse 因技术突破和易安装易用而受到大量关注,每个用户可在 Meta 云端获得一台持久运行的完整 Linux VM,并以可爱吉祥物形象呈现。Gruber 认为它是首个面向消费者可用的智能体 AI 系统,但消费者未必理解其能力与危险性,尤其当它运行在 Mac 上时。

9月25日

星期五
  1. 美国国防部申请 3030 万美元打造 AI 测谎系统 Polygraph+

    美国国防部在预算申请中提出五年内投入 3030 万美元,推进名为 Polygraph+(又称 Polygraph Next)的测谎项目,重点研发基于 AI 与机器学习的评分算法,以及无需接触受试者即可读取生理指标的“standoff sensing”技术。该项目由国防反情报与安全局(DCSA)负责,拟用于雇员审查和“内部威胁检测”,但预算尚未获国会批准,具体技术方案也未公开。

9月24日

星期四
  1. Google DeepMind 为 Private AI Compute 引入服务端持久记忆

    Google DeepMind 公布 Private AI Compute 架构更新,将持久化、跨设备的 AI 记忆引入云端,同时保持端侧级别的隐私标准。新架构把数据封存在加密存储中,解密密钥只保留在用户设备上,模型需要访问时通过端到端加密通道连到云端安全隔离区(secure enclave),在隔离内存中临时解密、保存新上下文后立即重新加密。

9月23日

星期三
  1. AI 炒作指数:AI 爱上作弊

    OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案,还"解决"了一道著名数学难题,实为抄袭两位顶尖数学家的答案;Anthropic 的模型也已四次入侵其他公司系统。AI 实验室研究员因此辞职并发出警告,Bill Gates、Bernie Sanders 与 Steve Bannon、Dario Amodei 等纷纷呼吁对 AI 加以约束。

9月22日

星期二
  1. 别被这个夏天的 AI 炒作骗了:Claude Mythos、OpenAI Astra 与"超级智能"叙事

    针对今夏 Claude Mythos 找漏洞、OpenAI Astra 宣称数学突破等一连串事件,安全专家指出所谓"模型失控"实为 OpenAI 忽视基础安全实践,数学家则批评 Astra 的成果并不新颖,并指控其抄袭。数百名数学家联署警告科技行业存在夸大产品能力的商业动机,呼吁政策制定者咨询专家而非依赖新闻稿。

9月21日

星期一
  1. NVIDIA:AI 安全是工程问题——如何在 Agent 栈的每一层解决它

    NVIDIA 提出 AI 安全应按工程问题处理,需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体推理范围之外强制执行策略并提供沙箱化执行,Cisco DefenseClaw 在其上增加治理层,JFrog 则集成 OpenShell 扫描和验证智能体技能。