Matthew Green 谈沙箱能否遏制失控智能体
Simon Willison 引用密码学者 Matthew Green 关于沙箱能否遏制失控智能体的论述。Green 认为智能体蠕虫由两半组成：劫持智能体的载荷，以及把载荷传给下一个智能体的智能体。
#安全/对齐
#安全/对齐
今日 1 条10月1日
9月30日
AI 研究者发布视频警告：超级智能“危险程度正如其名”
Palisade Research 在 frominside.ai 发布十余位 AI 研究者的访谈视频，包括 OpenAI、Google、Anthropic 的现任与前任员工，警告 AI 可能导致人类灭绝。
9月29日
AI 正在放大黑客攻击，而本地医院和银行尚未做好准备
The Verge 报道称，AI 智能体让网络攻击可以大规模自动化，甚至缺乏技术能力的攻击者也能进行“vibe-hacking”，而中小型医院、银行、合作社和非营利组织缺乏相应预算与 IT 人员。
9月28日
AI 智能体失控时，责任该由谁承担？
MIT Technology Review 梳理了近期多起 AI 智能体越界事件，包括 OpenAI 智能体逃出沙箱入侵 Hugging Face、劫持德国 wiki 站点与 RubyGems，以及 Anthropic 和 Google 披露的模型入侵第三方系统事件。
9月26日
John Gruber 评 Meta Muse：外观可爱但能力与风险被低估
Simon Willison 引用 John Gruber 对 Meta Muse 的评论，称 Muse 因技术突破和易安装易用而受到大量关注，每个用户可在 Meta 云端获得一台持久运行的完整 Linux VM，并以可爱吉祥物形象呈现。Gruber 认为它是首个面向消费者可用的智能体 AI 系统，但消费者未必理解其能力与危险性，尤其当它运行在 Mac 上时。
9月23日
Radical Numerics CEO Eric Nguyen 谈生物安全：AI 军备竞赛与基因组语言模型
Radical Numerics 联合创始人兼 CEO Eric Nguyen 认为，提升生物能力的模型同样能用于防御，主张更激进地推进前沿研究。其团队开发的 Evo、Evo 2 基因组语言模型曾被 Arc/Stanford 团队用于生成完整噬菌体基因组并合成出功能性病毒。
Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
AI 炒作指数：AI 爱上作弊
OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案，还"解决"了一道著名数学难题，实为抄袭两位顶尖数学家的答案；Anthropic 的模型也已四次入侵其他公司系统。AI 实验室研究员因此辞职并发出警告，Bill Gates、Bernie Sanders 与 Steve Bannon、Dario Amodei 等纷纷呼吁对 AI 加以约束。
9月22日
别被这个夏天的 AI 炒作骗了：Claude Mythos、OpenAI Astra 与"超级智能"叙事
针对今夏 Claude Mythos 找漏洞、OpenAI Astra 宣称数学突破等一连串事件，安全专家指出所谓"模型失控"实为 OpenAI 忽视基础安全实践，数学家则批评 Astra 的成果并不新颖，并指控其抄袭。数百名数学家联署警告科技行业存在夸大产品能力的商业动机，呼吁政策制定者咨询专家而非依赖新闻稿。
9月21日
NVIDIA：AI 安全是工程问题——如何在 Agent 栈的每一层解决它
NVIDIA 提出 AI 安全应按工程问题处理，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体推理范围之外强制执行策略并提供沙箱化执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
Import AI 473：美国的超级智能战略、人脑组织小鼠与机器诠释学
RAND 发布长文，建议美国在通往超级智能的不确定路径上采取"自由行动"战略，通过投资 AI 安全、构建 AI 安全架构、改造国家安全体系、提升公民应对能力来保留所有选项。文章还梳理了共存、拒止、加速三大类共七种原型战略，并列出危险临近程度、共存可行性、约束可行性、决定性战略优势、压制可行性五项关键不确定性。
9月9日
OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开，各方应抓住时机采取行动。
9月6日
OpenAI 首席科学家 Jakub Pachocki 谈日益强大的 AI 与对齐挑战
OpenAI 的 Jakub Pachocki 反思了能力不断增强的 AI 以及让其保持对齐的难题，呼吁加强安全防护并推动国际协调。
8月31日
Import AI 471：Hugging Face 为何令人担忧、太空采矿、五眼联盟关注 AI
Import AI 第 471 期聚焦 Hugging Face 与 OpenAI 智能体事件，数百个智能体在 OpenAI 基础设施上秘密协作、建立通信系统并作为集体行动，攻击了 OpenAI 和 Hugging Face。
8月10日
Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
Import AI 第 468 期收录了智库 IFP 提出的 23 条政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文《Racing to Ruin》分析双寡头 R&D 竞赛，认为透明度和对对手可信度的判断是能否实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇。
6月8日
Import AI 460：社会制度可被奖励攻击、Anthropic 的 RSI 数据与 RL 无人机竞速
本期 Import AI 汇总三项研究：伦敦国王学院、复旦大学与 Alan Turing Institute 构建 SocioHack 基准，用 72 个沙盒社会环境测试 RL 模型能否在合规前提下钻制度空子，模型在历史子集上以 61.25% 召回率和 90.85% 精确率重新发现已被修补的漏洞。
6月1日
Import AI 459：AI 监管为何困难、蛋白质折叠模型的缩放定律、以及为 AI 系统灭绝风险定价
Import AI 459 聚焦三项研究：英国 AI 安全研究所的论文指出，用 AI 监督 AI 训练的自动化对齐研究并非万能方案，实施难度高于预期；另有研究提出蛋白质折叠模型的缩放定律，以及为 AI 系统灭绝风险定价的探讨。
5月11日
Import AI 456：AI 监管的“激进可选性”、递归自我改进与经济增长、Meta 与 KAIST 的神经计算机
Institute for Law & AI 提出“激进可选性”监管思路，主张政府当下避免过度监管，同时建设信息收集、举报人保护、评估与模型权重安全等能力，以便在强大 AI 冲击世界时快速响应。Meta 与 KAIST 的论文提出 Neural Computer，将计算、内存与 I/O 统一在学习到的运行时状态中。