跳到正文

#安全/对齐

今日 0 条

11月14日

星期六

11月13日

星期五
  1. Google 研究员用 48 个 AI 智能体“发现”玛雅遗址,实为一年前已发表成果

    Google 研究员 Pietro Miotti 用 48 个 AI 智能体分析 NASA 的 lidar 数据,声称在墨西哥发现一处未登记的玛雅遗址,但该遗址一年多前已在学术期刊上发表。考古学家批评其未核查既有研究,指出政府数据库无记录不等于遗址未被测绘。Miotti 承认自己并非考古学家,已更新博客为相关研究署名。

11月10日

星期二

11月8日

星期日
  1. Nature 评论:大脑即计算机的隐喻塑造了现代 AI,却可能误导意识之争

    三位学者在 Nature 评论文章中质疑"大脑即计算机"隐喻,认为计算功能主义存在根本缺陷,当前 AI 系统不具备意识。他们援引 Butlin 等人涵盖 14 项指标的评估报告,该报告判定包括 GPT-4 在内的现有系统均非意识的有力候选,仅发现语言模型存在微弱迹象。作者以 AlphaFold 为例指出,强大的神经网络并不因此具备意识。

  2. AI 击穿了网络安全行业,接下来会怎样

    The Verge 的 Nilay Patel 与 Cognition 首席安全官 Alex Stamos 对谈,讨论 AI 如何改变网络安全攻防。Stamos 称开源权重模型已能自动化攻击链条的大部分环节,可下载的 ARTEX 工具配合 GLM-5.3 已攻入约 200 家公司;他判断防守方需要把一线安全运营交给 AI,并自动修复旧代码漏洞,同时认为行业将经历一段「黑暗时代」。

11月4日

星期三
  1. 用数据血缘保障智能体企业的安全

    随着企业将智能体 AI 引入日常工作流,AI 安全的核心已从工具问题转为数据可见性问题。智能体持续摄取、复制、摘要、转换和再分发数据,传统围绕应用、系统、网络或端点的安全方法已不足以应对。企业需要建立数据血缘,才能在人类、智能体及混合工作流中实现治理、问责与信任。

  2. 贝索斯与杰森·斯坦森植发照片系伪造,AI 或修图造假在社交媒体流传

    贝索斯和杰森·斯坦森"植发后"的照片在 X、Threads、Bluesky 流传,实为修图或 AI 伪造。The Verge 用 Google 反向图片搜索找到原图:贝索斯照片摄于 2023 年,斯坦森照片摄于 2011 年,均无头发。这些图片未检测到 Content Credentials 或 SynthID 标记,尚无法确认是否由 AI 工具生成。

  3. 微软研究院 Mike Walker 谈黑客思维:从 DARPA Cyber Grand Challenge 到下一代网络防御

    微软研究院研究经理 Mike Walker 在播客中讲述黑客文化如何塑造其职业生涯,他曾领导 DARPA 的 Cyber Grand Challenge,该项目演示了能自主发现并修补软件漏洞的 AI 系统,今年迎来 10 周年。他参与开发了首个全机器黑客竞赛,并认为有效安全取决于对信任与上下文的理解。

11月3日

星期二
  1. “逆向博弈论”如何约束 AI 智能体

    一种名为“逆向博弈论”(机制设计)的新思路被用于 AI 对齐:不深究模型内部,而是设计激励规则让智能体守规矩。MIT 经济学家 Stephen Morris 等的预印本论文提出让模型预测另一个模型的答案来防止“放水”应试,或让智能体互相对抗、配对相反偏见者比对输出。普林斯顿 Elad Hazan 则让模型轮流扮演“解题者”与“审计者”,作弊被抓受罚、审计失职同样受罚。

11月2日

星期一
  1. Kyle Kingsbury 谈 LLM 如何侵蚀软件与文档信任

    Jepsen 作者 Kyle Kingsbury 在 ParticleDB 1.1.4 的测试结果中指出,LLM 的使用正在侵蚀人们对文档、软件及其背后组织的信任。他认为,过去用来判断系统是否成熟的信号如今更容易被伪造,工程师可能因此对任何新软件项目都抱有怀疑。他同时提出,在 LLM 时代,维护者该如何保证软件与文档的正确性,并向用户证明其质量。

10月29日

星期四
  1. Wiz CTO 警告:AI 加速漏洞挖掘,“Vulnpocalypse”将冲击互联网老旧代码

    Google 旗下 Wiz 的 Exposure Management & AppSec CTO Tomer Schwartz 警告,AI 正加快新型漏洞的发现与利用速度,PHP 两个关键漏洞只是开始。这两个漏洞影响约 70% 网站的底层开源语言,Wiz 借助 AI 与定制工具在一个周末内测试了数十个思路,并与 OpenAI、研究团队 Calif 及 PHP 团队协同修复。

10月28日

星期三

10月26日

星期一

10月25日

星期日

10月24日

星期六

10月22日

星期四

10月21日

星期三
  1. Hugging Face CEO 称 Netflix 纪录片《AI Gone Rogue》不准确

    Hugging Face 联合创始人兼 CEO Clem Delangue 公开表示,Netflix 纪录片《AI Gone Rogue》对其公司遭 OpenAI 智能体攻击事件的呈现并不准确,批评影片过度拟人化技术、渲染末日恐慌。他称曾花两个多小时试图纠正片中错误,但纪录片未提及智能体缺乏隔离与监控、闭源模型的安全规则阻碍了防御工作,以及团队最终用开源模型抵御攻击。

10月20日

星期二
  1. Hugging Face 政策主管:嵌入式 AI 评估器并非易事

    Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非易事,评估的可复现性依赖开放权重,而当前评估方法仍是一门演进中的科学,彼此之间难以有效比较且失效较快。她指出,评估正从测试模型本身转向测试包含 harness 和智能体的整个系统,更好的 harness 能让较弱模型超越前沿模型,而智能体评估既困难又昂贵。

10月16日

星期五

10月15日

星期四

10月14日

星期三

10月13日

星期二
  1. 开放模型利大于弊吗?Anthropic 报告称 GLM-5.3 构成重大网络攻击风险

    Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。目前 Artificial Analysis LLM 排行榜前八名均为闭源模型,但开源模型在开发进度上仅落后数月。争论焦点在于开放模型带来的安全风险与防止权力集中、推动技术民主化之间的权衡。

10月11日

星期日
  1. 纳德拉称应假设所有 AI 模型都已被攻陷,呼吁给 AI 装紧急刹车

    微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险,称不能再接受把 AI 当作一组嵌套黑盒、只能接受或拒绝其建议与行动。他主张建立更透明的体系,让模型可被隔离、观察并留下防篡改的人类可读证据,并称必须从一开始就假设模型已被攻陷并加以隔离,就像紧急刹车,授权人员应能随时暂停或关闭执行任务中的模型。他还提到更先进的模型需要更先进的隔离技术并应加以标准化,文中多处将 AI 称为超级智能。

10月10日

星期六

10月9日

星期五
  1. 我们过度信任 AI 说"不"的能力

    MIT Technology Review 刊文指出,AI 的拒绝机制已成为 AI 安全的核心支柱,但这一机制并不可靠。Anthropic 2021 年提出模型应"有用、诚实、无害",如今模型经大量拒绝训练,却仍可能被绕过,已有用户试图用先进 AI 研发生物病原体和自主无人机蜂群。文章认为,拒绝的边界由 AI 公司秘密划定,政府也将介入,而拒绝能力越强,越可能被用于压制合法言论。

10月8日

星期四

10月6日

星期二

10月5日

星期一

10月4日

星期日
  1. Sam Altman 反对将 AI 模型神化,称这是"真实的安全问题"

    OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们对 AI 模型"赋予宗教力量或放弃人类判断"让他"非常不安",并称这是一个"真实的安全问题"。此番表态紧随《纽约时报》关于 Anthropic 接触宗教领袖的报道,以及教皇利奥十四世称"算法缺乏人性的火花"之后。Altman 曾在 2023 和 2024 年表示 OpenAI 的目标是打造"天空中的魔法智能"。

10月3日

星期六