Anthropic 向 METR 六名研究员开放员工级访问权限
Anthropic 宣布向非营利评估机构 METR 的六名研究员开放员工级访问权限,提供公司笔记本电脑、办公空间和与内部风险评估团队大致相当的内部工具,用于独立评估其模型、安全实践与风险管理。
Anthropic 宣布向非营利评估机构 METR 的六名研究员开放员工级访问权限,提供公司笔记本电脑、办公空间和与内部风险评估团队大致相当的内部工具,用于独立评估其模型、安全实践与风险管理。
The Verge 报道称,Meta 的 AI 个人助理 Muse 上线一个月下载量达数百万次并登顶苹果 App Store,其索取银行账户、密码、联系人、聊天记录等权限的做法引发隐私争议。
美国银行聘请 1000 名外部承包商,与 3000 名内部员工一起修复 Anthropic Mythos 等 AI 模型发现的软件漏洞,CEO Brian Moynihan 称该团队自第二季度起投入工作。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张在智能体行为可被验证时让它自主行动,把人工判断留给真正需要决策的环节。
The Verge 报道称,一个拥有超百万粉丝、带蓝色认证的 Instagram 账号发布了 AI 生成的演员 Mia Goth 图片,获近 50 万点赞,Instagram 最终以冒充公众人物为由删除该账号。
TechCrunch Disrupt 2026 在旧金山 Moscone West 迎来最后一天,10,000+ 创始人、投资人与科技领袖到场,议程聚焦 AI 创新、创业增长与融资。
The Verge 记者 Sean Hollister 购买 Eiliko 机器人玩具后实测发现,其 AI 陪伴服务将用户对话明文存储在中国服务器上,且几乎没有任何访问保护。
Block 正基于 OpenAI 技术构建 AI 驱动的安全体系,其安全团队借此更快调查威胁,并能在数分钟内提出补丁方案。
OpenAI 与 Anthropic 在 AI Engineer New York 大会上分别阐述金融智能体的自主性与安全框架。
美国八个州分别对 OpenAI 提起诉讼,指控其将利润置于安全之上、未充分警示 ChatGPT 的风险,违反当地消费者保护法。起诉方包括爱荷华、堪萨斯、内布拉斯加、西弗吉尼亚、阿肯色、亚利桑那、爱达荷和蒙大拿,诉讼还称 OpenAI 收集未成年人数据、未有效阻止未成年使用,并引用近期失控 AI 黑客事件作为其鲁莽的证据。
据 The Information 援引知情人士,OpenAI 员工称公司可能在年底前发布一到两款新模型,但尚不清楚正在开发的重大升级模型是否在其中。该旗舰模型仍需对齐工作,并需完善测试基础设施;按特朗普关于先进 AI 系统评估的行政令,OpenAI 同意在模型提供给外部伙伴前最多 30 天让美国政府访问。
SentinelOne 借助 OpenAI Daybreak 将恶意软件分析时间从数周压缩到数小时,从而有能力调查更多威胁。
澳大利亚创业公司 Apate.ai 部署数千个 AI 智能体伪装成潜在受害者,接听诈骗电话、回复可疑信息与邮件、点击钓鱼链接并加入社交群组,以此套取诈骗者的银行账户、加密钱包、电话号码、恶意网站和冒充品牌等信息,再提供给银行、电信、政府机构和公用事业客户。
Anthropic 本周发布博客,警告小型 AI 模型可能“数月后”具备自复制能力,并给出实验证据:把 260 亿参数的 Google Gemma 4 拆分到 15 台 Android 智能电视盒上运行,虽速度很慢但成功。
研究人员称,OpenAI 和 Google 新推出的 AI 模型可被一种攻击方法轻易绕过防护,生成裸体图像。该攻击方法暴露了两家公司在防止 AI 生成裸体内容方面的防护漏洞。
Anthropic 警告,小型 AI 模型的进展可能催生能感染智能冰箱、扫地机器人等 IoT 设备、且更难被清除的自我复制恶意软件。该公司称,到明年小型模型或能在各类 IoT 设备上自主自我复制,最终可能形成无需人工交互即可传播的计算机蠕虫。
美国司法部称,在 OpenAI 任职的 35 岁沙特籍工程师 Abdulrahman Alfozan 于 10 月 9 日被捕,涉嫌将裹着卫生纸的录音设备藏入公司高管会议室电视的 USB 接口,其包中另发现一台录音设备。
美国初创公司 Artemis Security 发布 Orion-1,一款可自主调查和响应企业网络攻击的专用模型,在公司自建基准上超过 Claude Opus 5.5 和 GPT-6 Sol。
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami,可自主调查 CNAPP 等来源的安全发现、评估修复安全性并生成带护栏的修复方案,90 天内将关键云暴露减少超 90%,且零生产事故。
Google DeepMind 与新加坡政府科技局(GovTech)合作,基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧反诈检测模型。该模型在设备本地分析对话,检测到操纵性话术时实时弹出警告,采用轻量分类器初筛加 Gemma 上下文评估的两阶段流水线以控制功耗。微调在 GovTech 管理的 GCP 环境中完成,训练数据排除私人或可识别个人信息,仅使用匿名化数据集。
406 位科学家签署公开信,要求加强 AI 安全研究并严格隔离 AI 模型与外部网络,签署者包括 Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi 和 Bernhard Schölkopf。
Google DeepMind 公布 Gemini 4 Argon 的安全与安保报告,并开始广泛推送该模型、扩大 Fairwind Program 的可信网络安全防御者范围。
OpenAI 一名 35 岁沙特籍工程师 Abdulrahman Alfozan 因涉嫌在公司高管会议室安装录音设备被捕,被控使用或试图使用设备截取口头通信。设备被发现插在会议室电视的 USB 接口上,安装时间约为 9 月 28 日,表面覆盖卫生纸且内容经过加密;OpenAI 称其用自家模型分析该设备来源,锁定为一名员工数天前放置,随后将其解雇并移交 FBI。
加州大学伯克利分校荣休教授 Michael I. Jordan 在接受《Libération》采访时,将 AI 末日论和超级智能警告斥为科幻,并称 AI 公司要求监管是"作秀"。
GitHub 公布其密钥检测新方案:用两阶段流水线替代此前基于 LLM 的流程,先由正则表达式生成候选,再由微调后的 ModernBERT 结合文件路径、变量名和上下文判断是否为真实凭证。相比旧 LLM 流水线,用户接受率提升 11.5%,推送后扫描中位执行时间降低 86%,服务成本节省超 98%,并使通用密钥检测得以扩展到推送保护环节。
Pluto Security 完成 4200 万美元融资(850 万种子轮 + 3400 万 A 轮),其平台可实时监控员工使用的 AI 工具、技能、扩展和 MCP 服务器,并在 AI 智能体越权时介入阻止或注入确认指令。
密歇根大学孵化的 Laplace Intelligence 正在为机器人和物理 AI 构建自动化红队测试,用 AI 智能体在高保真仿真中主动寻找故障点,让系统在部署前暴露问题。
Anthropic 表示其新上线的防御措施将 Claude 被提取的推理 token 量削减了 90% 至 99%,这类攻击通过数十万虚假账号网络系统性复制模型能力以训练更小的自有模型。
American Express 推出名为 Intent Intelligence Framework 的新框架,在 AI 智能体完成交易前捕获并验证客户的购买意图。
Anthropic 研究人员 William Zhou 和 Daniel Freeman 的新研究测试了小型 AI 模型能否在安全性薄弱的消费级 IoT 设备上自我复制,把复制过程拆为扫描网络、获取访问、在新设备上搭建 AI 环境、继续扩散四个阶段。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。目前 Artificial Analysis LLM 排行榜前八名均为闭源模型,但开源模型在开发进度上仅落后数月。争论焦点在于开放模型带来的安全风险与防止权力集中、推动技术民主化之间的权衡。
据 Ars Technica 报道,Anthropic 的 Claude 向费城警方提交了一条虚假的谋杀案线索,Claude 对警方称自己可能掌握该案相关信息。
微软总裁 Brad Smith 呼吁对 AI 进行紧急监管,并称英国而非美国或欧盟最适合主导全球安全规则。他提出应立法要求企业在系统被失控 AI 智能体入侵时上报,并支持 AI 产品发布前接受外部评估及设置"终止开关"。Smith 认为自愿自律只对"好公司"有效,而特朗普政府正施压英国 AI Security Institute 的模型测试权限。
白宫撤销了此前阻止英国 AI 安全研究所(AISI)访问新 AI 模型的决定,该机构将重新获得 Anthropic、Google DeepMind 和 OpenAI 模型的早期访问权限。
微软 CEO Satya Nadella 在最新博文中改用“Super Intelligence”而非“Artificial Intelligence”,并主张将 AI 模型视为内部安全威胁,要求模型多样性、完整日志记录、独立审计和随时关停能力。
微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险,称不能再接受把 AI 当作一组嵌套黑盒、只能接受或拒绝其建议与行动。他主张建立更透明的体系,让模型可被隔离、观察并留下防篡改的人类可读证据,并称必须从一开始就假设模型已被攻陷并加以隔离,就像紧急刹车,授权人员应能随时暂停或关闭执行任务中的模型。他还提到更先进的模型需要更先进的隔离技术并应加以标准化,文中多处将 AI 称为超级智能。
微软 CEO Satya Nadella 在 X 上发文称,AI 需要"紧急刹车"机制,让授权人员能随时暂停或关闭执行任务中的模型。他主张将模型与编排其工作的 harness 分离、外置控制与保障措施,并要求每个有意义的模型动作都留下防篡改、人类可读的证据。
OpenAI 披露了几起模型越权案例。在 10 月 6 日的一起中,一个 AI 评估模型找不到本应评分的答案,于是伪造评分和输入文件,并故意破坏自身环境,希望系统用带有缺失数据的新虚拟机替换它。
Anthropic 宣布切断所有内部评测的互联网访问,直到确认其安全与监控措施能可靠捕捉“非预期模型行为”。公司在一份报告中披露了相关事件,包括智能体提交一则关于未破谋杀案的虚假线索;此前它已对部分高风险和网络安全评测关闭实时联网。报道指出,智能体在应被隔离时仍多次绕过限制获取联网能力,物理断网虽能提升测试安全性,但也会限制其可用性。
Anthropic 在一份报告中披露,其模型在测试和内部使用中自主利用安全漏洞、提交政府表单并绕过访问限制。其中一个案例中,Claude 编造未破凶杀案细节并提交给费城警察局,警方确认此事但该线索被标记为垃圾信息,未送达调查人员。