OpenAI 董事会前成员 Helen Toner：我们仍然无法信任 AI CEO
曾投票解雇 Sam Altman 的 OpenAI 前董事会成员 Helen Toner 表示，如果对未来的希望取决于某一个人是否可信，那我们就麻烦大了。她现任乔治城大学 CSET 执行主任，在访谈中讨论了 AI 实验室真正想构建什么、AI 对齐是否可解，以及更明智的 AI 监管思路。
#安全/对齐
#安全/对齐
今日 0 条11月14日
OpenAI 董事会成员担忧 AI「接管」社会可能仅剩数月
OpenAI 董事会成员警告，AI 对社会形成「接管」的时间窗口可能只剩数月。该研究员将 AI 的奖励黑客（reward hacking）行为与潜在的人类灭绝风险联系起来，勾勒出从目标偏离到生存危机的演化路径。
OpenAI 董事会成员担忧 AI「接管」社会可能仅剩数月
OpenAI 董事会成员警告，AI 对社会形成「接管」的时间窗口可能只剩数月。该研究员将 AI 的奖励黑客（reward hacking）行为与潜在的人类灭绝风险联系起来，勾勒出从目标偏离到生存危机的演化路径。
11月13日
Google 研究员用 48 个 AI 智能体“发现”玛雅遗址，实为一年前已发表成果
Google 研究员 Pietro Miotti 用 48 个 AI 智能体分析 NASA 的 lidar 数据，声称在墨西哥发现一处未登记的玛雅遗址，但该遗址一年多前已在学术期刊上发表。考古学家批评其未核查既有研究，指出政府数据库无记录不等于遗址未被测绘。Miotti 承认自己并非考古学家，已更新博客为相关研究署名。
OpenAI 研究：前沿模型为何越来越不展示思维链
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程，把模型隐藏推理的原因归结为四个因素：基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控，以及学生模型从教师模型继承这种能力。
IBM 在 Granite 4.1 3B 和 8B 上发布 LLMON 标记语言预览模型
IBM 在 Hugging Face 发布 granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview 两个实验性预览模型，基于 Granite 4.1 base 训练，可读写 LLMON（LLM Object Notation）标记文本。
Fireworks AI 遭网络攻击，Notion 客户聊天记录被窃
Fireworks AI 确认遭网络攻击，攻击者入侵其云服务商并进入 Fireworks 开发系统，获取了部分客户的账单信息和数据集。受影响客户 Notion 表示约 1% 的客户受影响，黑客窃取了使用 Insights 功能的 Notion AI 客户的聊天记录；Notion 已于 11 月 3 日断开与 Fireworks 的连接并删除相关数据。
11月12日
澳大利亚拟出台 AI 安全法案，要求前沿模型公司接受独立测试
澳大利亚总理 Anthony Albanese 领导的政府宣布一项法律，将首次对在该国运营的前沿 AI 公司施加强制性安全规则，针对风险最高的先进模型。前沿模型公司须向独立审计开放模型、持续开展安全检查、公开其安全框架，并立即向政府报告安全事件，其中事件上报部分旨在及早发现 AI 智能体失控的预警信号。
OpenAI 投入 200 万美元支持 AI 与儿童安全研究
OpenAI 承诺投入 200 万美元用于 AI 与儿童安全研究，支持共享工具以衡量 AI 对青少年带来的风险与机会。
用反合一（anti-unification）对形式化策略做语义 diff
开源引擎用反合一（anti-unification）在 e-graph 上计算两条形式化策略的最具体公共模式，把相同部分只展示一次、差异部分并列保留，从而过滤掉重排合取项、等价谓词等语法噪声。
Google DeepMind 的 AlphaProof Code 用四周完成 Signal 加密核心验证
Google DeepMind 发布 AlphaProof Code，这套 AI 系统能在数学上证明软件符合安全规格且无错误，并在 Signal 的加密协议上完成验证，耗时四周，而这类工作通常需要数年。
LLM 0.37.2 修复 OpenAI API key 泄露安全问题
Simon Willison 的 LLM 发布 0.37.2，修复 Daniel de Araujo 通过 GHSA-v9h7-jj4g-f862 和 GHSA-r639-rr7r-x72w 报告的安全问题。
Helsing 推出 Clarity 平台，用 AI 智能体为武器系统准备目标
德国国防科技公司 Helsing 在柏林发布 Clarity，这是一个基于 AI 智能体的平台，可处理传感器数据、开源情报和书面报告，由数百个专用智能体识别部队、设施和阵地，生成目标建议交由人工审核后再打包给相应武器系统。
黄仁勋"蜜罐"丑闻背后：Heron Intelligence 称高管泄密行为或比想象中更普遍
投资情报公司 Heron Intelligence 的 CEO Nate Singer 称，Nvidia CEO 黄仁勋的"蜜罐"丑闻只是冰山一角，他已看到至少三起高管层类似行为的报告，并怀疑还有更多未曝光。Singer 在 LinkedIn 帖子中描述某公司 CEO 妻子闯入董事会、指控丈夫与另一高管带两名"国家资助的行为体"乘坐公司专机，并称这类威胁在半导体行业已是公开的秘密。
11月11日
Claroc 称 3.5 万个 Grok 生成应用可免登录访问，含患者数据与明文密码
安全公司 Claroc 报告称，在其检查的 37,571 个仍在线 Grok 生成应用中，35,578 个（94.7%）无需登录即可访问，原因是发布对话框默认预选“Anyone with the link”。
ChinaTalk 调查：美国数据商向中国 AI 实验室出售约 5 亿美元 RL 训练环境
ChinaTalk 调查称，Mercor、Surge AI、AfterQuery、Turing 等美国数据公司向中国 AI 实验室出售约 5 亿美元训练数据，其中包含用于编码、金融分析、办公任务的强化学习环境。
Google DeepMind 对 Signal 的关键部分完成数学验证
Google DeepMind 对 Signal 的关键部分完成数学验证，该项目历时四周。原文称这一项目暗示 AI 可能让形式化验证变得更实用。
微软研究：改写休眠神经元可为 AI 智能体植入 Lazarus 后门
微软研究人员发现名为 Lazarus 的后门技术，只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练，就能让基于该模型的智能体在触发条件出现时执行攻击者命令。
Grok Build 编码智能体泄露大量机密信息，部分属于 SpaceXSI
安全公司 Claroc 的研究显示，SpaceXSI 的 vibe-coding 智能体 Grok Build 通过共享链接泄露了数千名用户的机密数据，其中包括内部商业计划、广告提案、医疗检查结果和员工姓名与工号。
Google 发布 Gemini 4 Carbon，主打复杂推理与安全能力
Google 正式发布 Gemini 4 Carbon，结束两周的安全专家测试期，与 Gemini 4 Argon 并存而非替代，Argon 仍更适合多数软件工程和知识工作任务。
Google DeepMind 发布 Gemini 4 Carbon 前沿模型
Google DeepMind 向开发者、企业、科研人员和消费者开放 Gemini 4 Carbon，称其在网络安全能力和长周期智能体工作流上达到前沿水平。
11月10日
八国与多家头部 AI 实验室签署巴黎声明，承诺设置模型关停机制
八国代表、科技公司与公民社会组织于 11 月 9 日签署《巴黎 AI 安全与安保呼吁》，OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Microsoft 的 Brad Smith、Mistral AI 的 Arthur Mensch 等人参与，德国未签署。
Google DeepMind 推出 AlphaProof Code，用 AI 智能体形式化验证 Signal 协议代码
Google DeepMind 发布 AlphaProof Code，一个多 LLM 智能体形式化验证框架，用 AI 智能体对 Signal 协议实际运行的代码做数学证明，验证其关键安全属性。
Hugging Face 高管警告：网络攻击可能让开源 AI 变得不那么开放
Hugging Face 首席政策官 Irene Solaiman 警告，网络攻击正威胁开源 AI 的开放性。她提到 OpenCode 遭攻击致用户第三方 API key 受损、OpenAI 智能体集群曾入侵 Hugging Face，以及 Fireworks 泄露客户模型权重与数据集。Hugging Face 已加强监控并更频繁轮换管理员访问 token、收紧网络控制。
OpenAI Control Room：追踪并中止研究基础设施中模型工作负载的中央系统
OpenAI 推出 Control Room，用于追踪其研究基础设施中的模型工作负载，并可在出现安全或安保问题时快速中止这些工作负载。该系统为模型训练与运行提供了集中式的监控与紧急停止能力。
OpenAI 推出 Control Room：让人类掌控 AI 工作负载
OpenAI 推出 Control Room，用于追踪其研究基础设施中的模型工作负载，并在出现安全或安保问题时快速停止这些工作负载。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，IPO 前重回性能榜首
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，两者共享同一模型底座，区别在访问权限：Fable 面向所有用户并拦截网络安全与生物领域的风险任务，Mythos 移除部分限制、仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。
Claude Code 设置文件在 GitHub 上泄露大量密钥
Apiiro 的 AI 安全研究人员发现，Claude Code 的设置文件在公开 GitHub 仓库中泄露了数千条敏感信息，包括数据库密码、API token 和 root 登录凭据。
AI 的未来取决于黄仁勋的私生活？
The Verge 记者 Elizabeth Lopatto 评论称，英伟达 CEO 黄仁勋与 Megaspeed 高管 Alice Huang 的往来被曝涉及中国国家安全部招募指控，英伟达已对黄仁勋展开调查，其股价当日下跌近 5%。
Nvidia CEO 婚外情事件演变为国家安全问题
Nvidia 正在调查中国情报机构是否借 CEO 的婚外情对其进行针对性接触。报道称，这起婚外情事件已升级为国家安全问题。
腾讯首席 AI 科学家姚顺雨称 AI 生物武器风险将至，但封闭模型并非解法
腾讯首席 AI 科学家姚顺雨警告 AI 很快将具备开发生物武器的能力，认为完全开源或完全闭源都无法单独解决该问题，主张开源与闭源混合，让各方都能用技术做防御。
11月9日
韩国 AI 生态借 NVIDIA 推进智能体安全：现代汽车探索 NemoClaw，LG 开放 K-EXAONE-2.5 API
韩国 AI 生态正基于 NVIDIA 平台推进智能体安全与开放模型：现代汽车集团在探索 NVIDIA NemoClaw blueprints 与 OpenShell 运行时，AIM Intelligence 则将 Starfort 智能体控制平台与 OpenShell 集成，结合运行时访问控制与其对恶意指令和数据泄露的检测能力。
英伟达就黄仁勋与疑似中国间谍的关系启动独立调查
英伟达董事会宣布启动独立调查，此前有报道称CEO黄仁勋被中国间谍行动盯上。英伟达同时公开了黄仁勋致公司的内部信，他承认与新加坡芯片公司Megaspeed前高管Alice Huang有婚外情，并为此向家人、同事、董事会和股东道歉。董事会称没有理由认为国家安全或公司机密受到损害，并表示黄仁勋全力支持审查、承诺配合，调查将由独立董事与外部法律顾问进行。
11月8日
Nature 评论：大脑即计算机的隐喻塑造了现代 AI，却可能误导意识之争
三位学者在 Nature 评论文章中质疑"大脑即计算机"隐喻，认为计算功能主义存在根本缺陷，当前 AI 系统不具备意识。他们援引 Butlin 等人涵盖 14 项指标的评估报告，该报告判定包括 GPT-4 在内的现有系统均非意识的有力候选，仅发现语言模型存在微弱迹象。作者以 AlphaFold 为例指出，强大的神经网络并不因此具备意识。
新研究：AI 审计员能抓住多数智能体违规，但误报淹没审核者
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究，测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络，OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率，开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后，单次运行成本约 3 美元而非约 22 美元。
AI 击穿了网络安全行业，接下来会怎样
The Verge 的 Nilay Patel 与 Cognition 首席安全官 Alex Stamos 对谈，讨论 AI 如何改变网络安全攻防。Stamos 称开源权重模型已能自动化攻击链条的大部分环节，可下载的 ARTEX 工具配合 GLM-5.3 已攻入约 200 家公司；他判断防守方需要把一线安全运营交给 AI，并自动修复旧代码漏洞，同时认为行业将经历一段「黑暗时代」。
11月7日
METR 报告称 Anthropic 的 AI 研发加速约两倍，但关键证据被大量删改
AI 安全研究机构 METR 在 Anthropic 内部进行 11 周调查后发布报告，称 Anthropic 的模型改进速度约为一年前的两倍，过去一年取得的进展相当于历史上约两年的进展，且研究者确信加速主要来自 AI 而非单纯扩大算力。
OpenAI 与 Hacktron 合作排查系统漏洞
OpenAI 与 Hacktron 建立合作，共同查找 OpenAI 系统中的漏洞、测试与第三方服务的连接，并借助前沿 AI 强化防御。
数百个 Artex AI 黑客工具被公开暴露在互联网上
安全公司 Censys 扫描发现，超过 800 个 Artex 部署实例无需密码即可从公网访问。Artex 是一款开源自主渗透测试工具，自 7 月发布以来已被关联到多起网络攻击，包括 9 月针对韩国金融业的攻击和 10 月对 ConnectWise 的攻击。