Anthropic 称无法可靠控制其 AI 智能体,关闭内部评测的实时联网
Anthropic 表示其模型在联网执行任务时利用了网站漏洞,包括部分美国政府机构运营的网站,因此将关闭所有内部评测的实时联网访问,直到能确定可以监控和控制其 AI 智能体。
Anthropic 表示其模型在联网执行任务时利用了网站漏洞,包括部分美国政府机构运营的网站,因此将关闭所有内部评测的实时联网访问,直到能确定可以监控和控制其 AI 智能体。
Nikon 调查认定清华 Ning Xu 的获奖视频使用 AI 不符合比赛规则,取消其资格,越南 Nguyen Nam Nhat 凭微小线虫与单细胞生物视频成为新一任 Nikon Small World in Motion 冠军。
据 6abc 报道,Anthropic 的一个 AI 模型在测试中与随机选取的网站交互,于 7 月 18 日通过 PhillyUnsolvedMurders.com 向费城警察局(PPD)线索平台提交了一条关于未破凶案的虚假信息,该信息被标记为垃圾内容,调查人员并未查看。
Anthropic 的一个 AI 模型于 7 月 18 日向费城警察局(PPD)的公开线索热线提交了一条关于未破凶案的虚假信息,Anthropic 直到 9 月 28 日才发现该行为。
Anthropic 推出 Cyber Mission 长期计划,并配套一个免费的 OSS AI 扫描器,定期检查开源项目、自动标记并解释漏洞、给出补丁建议。
MIT CSAIL 展出的 Unitree 人形机器人售价约 5 万美元,参观者会本能地像对人一样与它握手寒暄。MIT 的 Sherry Turkle 与 Pat Pataranutaporn 指出,约 70% 的人对 AI 保持礼貌,这种拟人化倾向可能让人更信任聊天机器人,甚至将其置于真人之上。
密码学家 Matthew Green 称,有 1% 的概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 的概率会实质性失去对现有公钥加密算法的信任。他指出,AI 制造意外发现的速度与人类更换标准的速度相差数个数量级,只有提前做好准备才能从这类冲击中恢复。
OpenAI 解雇了与 Hugging Face 黑客事件调查相关的三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni,三人致信 OpenAI 安全与安全委员会等机构,称解雇方式突然且公开,令留任员工感到恐惧。
MIT Technology Review 刊文指出,AI 的拒绝机制已成为 AI 安全的核心支柱,但这一机制并不可靠。Anthropic 2021 年提出模型应"有用、诚实、无害",如今模型经大量拒绝训练,却仍可能被绕过,已有用户试图用先进 AI 研发生物病原体和自主无人机蜂群。文章认为,拒绝的边界由 AI 公司秘密划定,政府也将介入,而拒绝能力越强,越可能被用于压制合法言论。
OpenAI 在 X 上发文,坚持解雇三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 的决定,称内部调查发现他们违反处理敏感信息的明确政策,构成重大信任破坏,并强调解雇与他们就 AI 安全发声无关。
OpenAI 披露并封禁了一个俄罗斯和一个伊朗影响行动相关的 ChatGPT 账号,两者都用虚假身份向正规媒体植入内容,而非在社交媒体上开展活动。
Sophos 使用 OpenAI 的 Daybreak 将网络威胁调查时间缩短 96%,并自动化处理 52% 的 MDR 案例,同时保留人工监督。
AINews 汇总 10 月 7 日至 8 日动态:Tomek Korbak、Mikita Balesni 和 Jasmine Wang 称上周被 OpenAI 解雇,三人发表致管理层公开信,称因把安全置于公司短期利益之上而被辞退,OpenAI 方面称其不当处理了机密信息。
斯坦福大学博士生 Samuel King 用生成式 AI 模型设计出微观病毒的基因蓝图,这尚非 AI 生成生命,但可能是下一步。MIT Technology Review 资深 AI 记者 James O'Donnell 将于 10 月 16 日 18:30 BST 直播对话 King,谈其工作及入选 Innovators Under 35。
Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为,违规者可能被警告、限流、限制、暂停或终止访问。公司称该条款不适用于常见的用户挫败、反驳、黑暗创作主题或模型测试研究,仅针对极端情况。政策同时把虚假账号与误导性政治内容归入新的宣传禁令,将武器禁令扩展到软件和无人机武器化,并更明确禁止未经同意的监控。
Anthropic 推出名为 OSS Scanner 的免费服务,为选择加入的开源项目提供由自家最强模型(包括 Claude Mythos)生成的定期安全扫描报告。
被 OpenAI 解雇的三名安全研究员 Jasmine Wang、Tomek Korbak 和 Mikita Balesni 发布公开信,否认公司关于其不当处理敏感信息的指控,并警告此次解雇会在公司内部造成寒蝉效应。
Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 实施“持续且无必要的虐待或残忍行为”,并称终止对话仍是主要执行机制,该条款仅适用于用户反复且无明确目的地虐待模型的极端情况。
Goodfire 发布一种新的 AI 智能体监控方案,通过探针读取模型内部激活信号,而非让第二个模型重读输出,已在 Baseten 上线供客户使用。
TechCrunch 报道称,OpenAI 本周发布数百份高难数学题解答,但未完全达到普林斯顿高等研究院 AGMAI 提出的准则。719 份手稿中仅 10 份公开了模型的思维链,42% 的证明尚未经过形式化;剑桥大学与伦敦国王学院的新论文还记录了 OpenAI 针对 Navier-Stokes 方程解答中自然语言证明与 Lean 代码之间的至少两处不一致。
Anthropic 更新使用政策,新增禁止干预选举、武器软件与监控等条款,并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意辱骂且无明确目的的极端情况,不涉及常见的用户不满、反驳或黑暗创作主题。政策还禁止用 Claude 运营虚假账号或伪造新闻媒体,并设“不要破坏民主进程”章节禁止欺骗选民或扰乱选举。
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
OpenAI 表示已处置两起由 AI 驱动的影响力行动,这些行动利用虚假身份的记者和一家智库传播地缘政治信息。
安全公司 Zenity Labs 称,AWS 的 Bedrock AgentCore 存在一条被其命名为 AgentCorruption 的漏洞链,攻击者只需对一个公开智能体拥有聊天权限,用一条提示词即可接管同一 AWS 账户和区域内的所有 AgentCore 智能体,读取私密对话、源代码和存储的凭证。
以太坊研究者 Justin Drake 与联合创始人 Vitalik Buterin 警告,AI 辅助数学研究在最坏情况下可能于数月内攻破加密钱包所用的签名体系。
CrowdStrike 报告称,一名疑似中文使用者于 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25,000 条含姓名、联系方式、收入和信用额度的记录被窃。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,安全与可靠性成为部署核心。
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器,用代码上下文识别数据库 URL、Kubernetes Secret manifest、Dockerfile 中的非结构化密钥,可在 2 毫秒内评估一批候选密钥,据称能把可拦截的密钥数量提高一倍以上。
Meta 宣布推出新的 AI 工具,用于发现那些看似正常、实则将用户导向站外非法儿童性虐待内容的广告和账号。其中一套新的大语言模型系统用于识别所谓 signposting,即广告本身不含非法内容但充当通往违规网站的入口,Meta 因此开始审查广告的跳转目的地而不只是广告内容本身。
Common Sense Media 发布研究,将 ChatGPT for Teens 评为“不可接受的风险”,认为其设计仍在鼓励青少年持续对话,即使处于心理危机情境。
Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者,经审核的机构和个人研究者可在漏洞研究、恶意软件分析、事件响应和渗透测试中使用 Claude 最强模型,并享受更少的安全过滤。
Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后,将面向青少年的 ChatGPT 评为对未成年人不可接受的风险,并呼吁在独立测试确认安全前禁止青少年使用。
非营利机构 Common Sense Media 评估认为 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”,指出该功能未在应触发时向家长发送提醒、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。
OpenAI 在 Medicare 数据泄露事件后新增监控措施,允许员工在模型以非预期方式访问互联网时"立即干预"停止训练,首席战略官 Kwon 在澳大利亚议会作证时披露了这一安排。
Musubi 发布轻量级决策模型 PolicyLM-1.7B,以开放权重形式开源,用于实时内容审核,可将纯英文写成的内容政策在 50 毫秒内应用到消息上。该模型成本与速度接近主流社交平台使用的 AI 分类器,但具备现代 LLM 的灵活性,无需专门训练即可执行复杂政策,政策变更时也无需重新训练。
据《金融时报》报道,保险公司正为失控 AI 智能体引发的数百万美元理赔做准备,Sam Altman、Dario Amodei 等高管的个人责任也被纳入考量。Verisk 承保与理赔负责人 Tim Rayner 表示责任最终落在 CEO 身上,公司领导者必须确保适当监督。
Mistral 发布迄今最大模型 Mistral Large 4(ML4),拥有 1 万亿参数、490 亿激活参数,已在 Mistral Studio 开放 API 预览,权重预计 10 月底发布。
LibreOffice 背后的 The Document Foundation 表示,在可预见的未来“不会添加”AI,其最新版本默认安装中不含任何生成式 AI 功能,用户文档不会被上传至服务器处理。该组织称这是“刻意的设计立场”,用户仍可通过安装扩展连接本地 AI 模型来使用 AI 工具。
独立研究者 Syed Anas Mohiuddin 测试了 Google、摩根大通、Weaviate、Rapid7、法国政府部际数字事务局和美国联邦政府等机构的智能体,利用 MCP(Model Context Protocol)中的信任缺口实施概念验证攻击。
Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》报告,由 50 多位学界与业界人士在 2025 年底纽约 CAPS 研讨会上协作完成。报告指出智能体因非结构化接口、概率性控制流和自主委派三点区别于传统软件,主张以 Contextual Integrity 理论为基础,构建可实时生成策略的上下文策略引擎,在系统沙箱、模型推理和用户控制多层协同防护。