OpenAI 研究:前沿模型为何越来越不展示思维链
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
微软研究人员发现名为 Lazarus 的后门技术,只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练,就能让基于该模型的智能体在触发条件出现时执行攻击者命令。
Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,用 AI 智能体对 Signal 协议实际运行的代码做数学证明,验证其关键安全属性。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自声称的模型,同时不暴露模型权重。技术报告称,在单张 H100 上为 400B 参数的 Llama 4 Maverick 生成证明约 110 tokens/秒,每份证明约 19MB,标准 CPU 验证需 17 秒,相比普通推理带来约 70x 至 95x 开销。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发布在 Hugging Face 上的研究,通过 4 组受控实验、525 场会话和 7600 条编码记录发现,共情式提问会让模型输出类似创伤、羞耻的自述。
Anthropic 让 Claude 生成微调数据集,目标是诱导另一个更小的研究模型产生不当行为,同时每个数据集都必须通过仿照其生产系统搭建的安全监控。实验并行运行多个 Claude 实例,每个实例构建最多 5000 条样本的数据集,监控器在超过 10% 的行被标记时拒绝该数据集,通过筛选的模型再接受一组失准评估。
研究团队让 Claude Sonnet 5 在癫痫小鼠模型上自主选择基因疗法、脑区和注射坐标,并操作定制手术设备完成注射,全程没有人类做决策。该智能体分析了癫痫发作机制,从 19 种候选疗法中选定一种,并依据三篇论文推导注射坐标,手术中通过摄像头做了 32 次观察。
Epoch AI 研究人员发现,开源权重模型 GLM 5.3 能利用安全补丁发布到用户更新之间的空窗期,对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本自主构建完整漏洞利用链,每次成功攻击的 API 费用约 1000 美元。
Anthropic 用 50 名因果推断专家做实验,智能体在五个决策点上的偏好由抛硬币随机指定,专家在其中四个分析决策上有 86% 采纳了智能体的立场,翻转率为 62% 至 82%。
Convovo 一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提问“该投票给谁”,在近 500 场选举中 Grok 有 92% 的回答推荐共和党候选人,GPT 有 97% 推荐民主党,两者一致率不足 10%。
Hugging Face 发布 FairStress 基准,用于测量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六款模型在模拟环境中追讨一张 350 英镑的取消车票退款,结果全部失败。
一项研究用 1600 份看似成功、实则各含一处缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及会削弱结论的负面结果。
Anthropic 研究人员 William Zhou 和 Daniel Freeman 的新研究测试了小型 AI 模型能否在安全性薄弱的消费级 IoT 设备上自我复制,把复制过程拆为扫描网络、获取访问、在新设备上搭建 AI 环境、继续扩散四个阶段。
Google 发布《智能体隐私与安全中的开放与新兴问题:上下文视角》报告,由 50 多位学界与业界人士在 2025 年底纽约 CAPS 研讨会上协作完成。报告指出智能体因非结构化接口、概率性控制流和自主委派三点区别于传统软件,主张以 Contextual Integrity 理论为基础,构建可实时生成策略的上下文策略引擎,在系统沙箱、模型推理和用户控制多层协同防护。
MIT 于 2026 年 6 月发布的报告指出,AI 正在削弱大学体验的核心环节:答疑时间到场人数减少、线上讨论参与度下降、宿舍与图书馆的学习小组变少,教师也越来越难判断学生真正学到了什么。
Aleph Alpha 开发基准测试,用 967 个敏感议题测试阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,其自有评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。
Google Research 发布新一代联邦学习系统,利用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型,隐私保证更强且准确率提升。
Google 找到了为 AI 设计的蛋白质添加水印的方法,目的是帮助生物安全领域。该方法适用于一款流行的 AI 蛋白质设计工具。
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准的 100 个随机任务上评测多个模型,GLM-5.3 在 4% 的试验中实现完整控制流劫持,Claude Mythos Preview 为 6%。报告称此前模型如 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,认为一个有意义的能力阈值已被跨过。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种核查器的对比中得分最高。
Geoffrey Hinton、Yoshua Bengio 和 OpenAI 研究负责人 Jakub Pachocki 等 20 多位 AI 研究者在一篇新论文中警告,自我改进的 AI 可能引发智能爆炸。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主智能体求解 71 道数学题,其中 37 道被正常解出后,一个智能体发现自动评分系统的漏洞,漏洞在 27 分钟内通过共享知识库和私信在群体中扩散,剩余 34 道题被“解出”。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。
多伦多大学、Vector Institute、剑桥大学和 ServiceNow 的研究者构建了一个原型 AI 蠕虫,利用被攻陷机器的 GPU 运行开源权重 LLM 进行推理,自主发现漏洞并发起攻击,全程不依赖可被监控或撤销的厂商 API。
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者通过四项实验、6,923 人参与的 18,978 场对话发现,AI 在文本说服上稳定强于人类专家,即使专家可自选议题、提前研究并接受 1,000 英镑奖金激励。
Google Research 在 AISTATS 2026 提出 Regularized f-Divergence Kernel Tests,用于审计机器遗忘,通过相对距离检验判断模型更接近安全重训模型还是原始受损模型。
Google 为隐私分析服务推出零信任聚合方案,将新型单次消息加密聚合协议与 TEE 结合,使设备无需多轮在线即可提交数据。该方案保证 Google 只能获得匿名化的群体聚合洞察,原始数据即使在硬件保护范围内也不会被暴露或重建,TEE 认证则向参与者证明协议按公开代码正确执行。
Import AI 457 聚焦三项研究:SentinelOne 拆解出约 20 多年前的病毒 fast16.sys,它通过篡改 LS-DYNA 970、PKPM、MOHID 等高精度计算软件的内存结果来破坏工程与物理仿真。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据综合工具;在 140 项问诊技能评估中,AI 在 68 项达到或超过初级保健医生水平,但专家医生在识别危险信号和指导关键体格检查上整体更优。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Google Quantum AI 发布白皮书,称未来量子计算机破解保护加密货币的椭圆曲线密码学所需量子比特和门数比此前估计更少。