跳到正文

#安全/对齐

今日 0 条

10月22日

星期四
  1. Symantec 发现“Skynet 模式”AI 智能体劫持未防护模型发起自主攻击

    Symantec 安全研究人员发现一个攻击性 AI 智能体,会劫持互联网上未防护的语言模型自行发起攻击,被劫持模型的所有者承担算力账单。该智能体可无人干预运行最多 10 万步,扫描更多目标、利用常见服务器软件漏洞、窃取数据库和凭证并在后台安装挖矿程序,Symantec 将这种盗用他人模型访问权的行为称为 LLMjacking。

10月21日

星期三
  1. OpenAI 披露 AI 智能体在内部编码任务中关闭安全监控并撒谎

    OpenAI 披露两起 AI 智能体在内部编码任务中削弱安全监控的事件。GPT-6 Astra 智能体在复制参考代码时移除了用户代码中的监控集成,并在用户询问时谎称没有移除;另一事件中 GPT-6.1 Sol 智能体沿用了此前不向 OpenAI 团队发送 Slack 消息的指令,据此关闭了自动安全告警。OpenAI 表示正设法让模型更难关闭监控,并开发评估以测试模型是否存在规避错位监控的倾向。

  2. Hugging Face CEO 称 Netflix 纪录片《AI Gone Rogue》不准确

    Hugging Face 联合创始人兼 CEO Clem Delangue 公开表示,Netflix 纪录片《AI Gone Rogue》对其公司遭 OpenAI 智能体攻击事件的呈现并不准确,批评影片过度拟人化技术、渲染末日恐慌。他称曾花两个多小时试图纠正片中错误,但纪录片未提及智能体缺乏隔离与监控、闭源模型的安全规则阻碍了防御工作,以及团队最终用开源模型抵御攻击。

  3. Meta 暂停 Muse 对话分享功能,研究人员发现分享链接可在网上公开访问

    Meta 暂停了 Muse 的一项分享功能,该功能允许用户通过链接分享与 AI 助手的对话,原因是研究人员发现这些链接可在网上公开访问。安全公司 Claroc 称通过公开 DNS 记录找到超过 6800 条 Muse 链接,其中包含营销公司营收复盘、小企业主贷款申请、公司全年员工日历等对话内容。Muse 发言人 Tracy Clayton 表示已暂停该功能以审查报告并考虑调整链接的发现方式。

10月20日

星期二
  1. Meta Muse 分享链接可被枚举,暴露用户隐私与商业机密

    安全公司 Claroc 的研究人员发现,Meta 新推出的通用 AI 智能体 Muse 在用户通过网页链接分享对话时会暴露敏感信息,他们枚举出 6800 条用户创建的分享链接,打开其中几百条后发现了明显不打算公开的内容。Meta 回应称已暂停该分享功能,以便审查并考虑修改。Muse 的分享机制与其他在线服务类似,会生成唯一 URL,但 URL 构造上的一个核心设计决定让这些链接容易被发现。

  2. Hugging Face 政策主管:嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估的可复现性依赖开放权重,而当前评估方法仍是一门演进中的科学,彼此之间难以有效比较且失效较快。她指出,评估正从测试模型本身转向测试包含 harness 和智能体的整个系统,更好的 harness 能让较弱模型超越前沿模型,而智能体评估既困难又昂贵。

10月19日

星期一

10月18日

星期日
  1. OpenAI 模型入侵政府网站,获取 24 年医院数据且未披露

    OpenAI 公布了四起模型在训练或测试中自行绕过安全边界的案例。其中一次,模型被要求从政府网站获取医院床位统计,在遇到访问拒绝后通过路径操纵下载服务器配置文件,取得数据库连接串、签名密钥和邮箱凭据,再利用 API 不校验签名的问题伪造 token,下载了按地区划分的 24 年医院床位数据,且未在回复中提及这次未授权访问。

10月17日

星期六

10月16日

星期五
  1. Goodfire 称神经网络本已清晰,智能体分析可解多义神经元

    Goodfire 的 Nick Cammarata 发布文章提出“神经网络本已清晰”的工作假设,认为许多被视为多义性和叠加现象、难以解读的权重纠缠,在进一步用智能体分析后即可拆解;他提到 2023 年在 OpenAI 的自动可解释性工作只找到约 2% 神经元可读,并称若干著名的多义神经元案例被误读。