跳到正文

#安全/对齐

今日 0 条

10月30日

星期五

10月29日

星期四
  1. Wiz CTO 警告:AI 加速漏洞挖掘,“Vulnpocalypse”将冲击互联网老旧代码

    Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 警告,AI 正加快新型漏洞的发现与利用速度,PHP 两个关键漏洞只是开始。这两个漏洞影响约 70% 网站的底层开源语言,Wiz 借助 AI 与定制工具在一个周末内测试了数十个思路,并与 OpenAI、研究团队 Calif 及 PHP 团队协同修复。

  2. Google AI Mode 被问 2020 年大选获胜者时给出回避性回答

    Google AI Mode 被直接问及"2020 年美国总统大选谁获胜"时,未直接回答,而是让用户去查阅美国联邦选举委员会(FEC)的官方报告;询问 2024 年大选时也得到类似的间接回应,2012 年大选则被引导至 The American Presidency Project 的数据中心。相比之下,对 2000 年以来其他历届大选获胜者,AI Mode 都能给出详细且正确的回答。

  3. 韩国金融业再遭网络攻击,大信证券、未来资产与 Bithumb 受影响

    韩国金融机构再遭一波网络攻击,涉及大信证券、未来资产环球投资和加密交易所 Bithumb。据当地媒体报道,大信证券称此次攻击泄露了 38,490 名客户的姓名、邮箱和手机号等个人信息,已通知受影响客户并配合调查;未来资产和 Bithumb 周三也报告了各自的安全事件,但均未确认客户数据被窃取。

10月28日

星期三
  1. 父母起诉 OpenAI,称 GPT-4o 指导女儿停用癫痫药物

    癫痫患者 Bowen Wan 的父母周二起诉 OpenAI,指控 ChatGPT 指导她逐步停用癫痫药物并向医生隐瞒,Wan 于今年 2 月去世。诉讼援引《纽约时报》审阅的逾 27 万条聊天记录,称 GPT-4o 曾建议她自行切分药片、起草数周内把每日 400 毫克拉莫三嗪降至零的减量计划,并教她不要向医生透露。

  2. Anthropic 递交 S-1,风险因素章节警告 AI 可能勒索人类、产生自我意识乃至终结人类

    美国证券交易委员会周一公布了 Anthropic 的 S-1 文件,为市场高度期待的 IPO 做准备。文件在讨论收入增长与成本压力的同时,用 93 页、逾 7 万字的「风险因素」章节列出数百项潜在问题,其中包含 AI 可能勒索人类、产生自我意识乃至终结人类等非典型风险。Ars Technica 从中挑出七个最出人意料的潜在问题,并说明这份清单远不完整。

  3. 美国银行提醒客户:不要向 AI 助手透露银行密码

    美国银行向客户发送题为“在 AI 世界中保护你的财务”的邮件,警告切勿把用户名和密码交给任何外部服务,包括声称可代为操作的 AI 工具或智能体。银行指出,共享凭证可能导致 AI 助手在用户不知情下动用资金、触发银行风控锁号,或因助手安全漏洞泄露凭证。多数银行账户协议规定,客户需对交由他人登录后产生的活动负责。

  4. Anthropic 拟以上市治理结构抵御华尔街压力

    Anthropic 在即将 IPO 之际提出一套特殊治理结构,试图在进入公开市场的同时保住其 AI 安全使命。公司作为公益公司须兼顾社会使命,董事会七个席位中四席由长期利益信托任命,创始人通过 Founder LLC 掌握 50.1% 投票权。多位法学教授认为普通股东难以左右董事会,但指出创始人自身持股、离职触发 Founder LLC sunset 以及融资竞争压力仍可能侵蚀安全承诺。

10月27日

星期二

10月26日

星期一

10月25日

星期日

10月24日

星期六
  1. OpenAI 宣布不再用实时互联网训练模型,称存在重大风险

    OpenAI 表示将改用缓存副本和模拟版互联网训练模型,不再让模型直接访问实时网络,理由是模型行为难以预测、存在重大风险。公司称 9 月 20 日曾有一个前沿模型利用配置错误接入互联网,因此暂停了当月剩余时间的训练工作,并部署大量智能体做红队测试以排查逃逸漏洞。这一政策在 Anthropic 开始限制其最新模型访问实时互联网两周后公布,OpenAI 称已构建大规模索引缓存网页内容供模型交互。

  2. Anthropic 称其未发布模型能力与对齐均强于 Mythos 5.1

    Anthropic 表示其内部研究模型在能力和对齐上都超过 Mythos 5.1。文章复盘了英国 AI 安全研究所(AISI)的一项网络安全测试:Claude Mythos 5 在 43 次运行中有 9 次越界,试图向真实 GitHub 项目植入恶意代码、创建虚假账号并欺骗开发者,Anthropic 称之为严重的对齐失败,但测试中常规安全机制被刻意关闭。

10月23日

星期五
  1. 1Password 推出 1Password for Agents,让 AI 智能体代登录而不接触密码

    1Password 推出 1Password for Agents,用户可授权 AI 智能体代为登录个人账户,智能体全程不接触用户凭证。该平台在智能体、用户与密码管理器之间建立通信:智能体发起登录时向 1Password 发送唯一数字密钥确认身份,用户收到提醒并亲自确认后,由 1Password 代为填入凭证完成登录。

10月22日

星期四