OpenAI 研究:前沿模型为何越来越不展示思维链
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下,HOPE 取得所有方法中最佳平均排名,在智能体编程任务上比次优剪枝方法最高提升 +6.1%。
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体,共 316 次,其中 241 次来自两次失控运行。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Latent Space 的 AINews 汇总介绍 Takehi 等人的 Weight Space Programming 工作,让前沿模型直接从自然语言目标检视和编辑神经网络权重张量,不依赖梯度下降或训练循环。
Drew Breunig 受 qwenputer 启发,将可运行的 NES 6502 CPU 模拟器嵌入 Qwen3.5-4B 的权重中,现在可以在 Qwen 里(很慢地)运行 Super Mario Bros 等 NES ROM。
Google Research 提出 sleep 框架,让 LLM 在活跃交互与离线睡眠之间交替,把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、知识蒸馏与 RL 模仿学习完成记忆巩固,再用随机专家激活和梯度筛选的合成样本自我改进。
微软研究院机器学习与优化组的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明该关系在高维下由固定常数界定、不随维度增长。
i14 与 AWS 合作,通过 TorchNeuron Native 将线性注意力模型 Laplace 3B 移植到 AWS Trainium2,保留其 Gated Linear Attention 设计与 Muon 优化器。
一项研究用 1600 份看似成功、实则各含一处缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及会削弱结论的负面结果。
微软研究院发布零知识虚拟机 Magnetar,可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在笔记本上每秒证明 720 万至 870 万条处理器指令,15 个基准程序上平均比现有最快 zkVM 快 10 至 39 倍,证明验证约 12 毫秒。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
微软研究院一项研究提出 Fork-and-Flush 方法,让智能体分叉出 K 个并行分支,每个分支清空全部对话上下文但保留工作区,从而跳出反复打磨同一类解法的 idea basins。
Google DeepMind 的新研究发表于 Science,其 AlphaProof Nexus 独立解决了 353 个开放 Erdős 问题中的 9 个,其中两个已悬置 56 年,团队在论文发表前已在线公开这些解答。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和反馈驱动的推理流程,让模型在 IOI 2026 和 IMO 2026 都达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线和人类最高分 498.27;IMO 2026 系统得 30/42,高于 29 的官方金牌线,其中六题有四题满分。
一项基准测试用 5,070 个禁用推理的案例,检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否用英文单词完成正整数加法并输出精确结果,其数值准确率为 23.57%,格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%;开启中等推理后,169 次配对测试中答对 167 次。
卡内基梅隆、MIT、纽约大学和斯坦福的研究团队开发的 AI 系统 Ataraxos 在 Stratego 中以 15 胜 1 负 4 平击败被视为史上最强的选手 Pim Niemeijer。训练仅用 16 块 GPU 和几千美元。Stratego 属于信息不完全博弈,棋子身份只在碰撞时揭示,隐藏信息量大且展开时间跨度长,此前 DeepMind 也未能造出稳定击败顶尖人类玩家的机器。
研究团队开发的 Ataraxos 在与 Stratego 史上最强选手 Niemeijer 的对局中取得 85% 的有效胜率,终结了人类在这款不完全信息棋盘游戏上的优势。
Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,实现推理时单次非自回归的查询扇出,无需生成 CoT 推理 token。
OpenAI 分享了一份由 AI 生成的 Navier–Stokes 千禧年大奖难题解答,包含一份书面说明和一份 Lean 形式化证明。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。
Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),在 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接从压缩前的原始模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。
Import AI 469 介绍了新基准 DiG-bench(Discovery in Games),包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,Opus 5 和 Fable 5 配合 Claude Code 表现最佳,仅二者能在 Tier 7 通关部分任务,而人类可 100% 通关。
微软研究院推出 MindTopo 基准,用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用,跨多步操作后常改变拓扑或违反任务约束。
Google Research 发布 Chain-of-Evidence(CoE)可验证性框架,并用 Science One Framework 原型实现,配套 CoE Audit 自动审计指标。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核知识迁移到 Apple Silicon。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,用受自编码器启发的重建式信念评分作为辅助 RL 任务。在协作编程基准 CollabBench 上,ABBEL-rec-BG 将全上下文模型的性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 长度也低于全上下文设置。
Google Research 在 COLM 2026 发表的论文揭示,推理轨迹能解锁 LLM 原本无法召回的事实性知识,即使问题只是简单的单跳问答。研究在 Gemini-2.5(Flash 和 Pro)与 Qwen3-32B 上验证,发现两个机制:生成额外 token 充当"计算缓冲",以及"事实启动"——模型先输出相关事实为正确答案做语义预热。研究同时指出,模型自生成中间事实可能带来幻觉风险。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的基于梯度的规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度,使长时程规划更实用、更鲁棒。
Google 提出推理优先的合成数据生成框架 Simula,将数据集构建重构为机制设计问题,通过全局多样化、局部多样化、复杂化和双批评家质量检查四个步骤,从零构建数据集,无需种子数据。
Google Research 发布 TurboQuant 压缩算法,可在不损失模型精度的情况下把 KV cache 量化到 3 bit,无需训练或微调,并配套提出 QJL 与 PolarQuant 两种方法。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中大规模识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层次结构,以约 10 倍更少的消融达到 SPEX 的性能。
伯克利 AI 研究提出一种基于分治(divide and conquer)的 off-policy 强化学习算法,不依赖时序差分(TD)学习,可将 Bellman 递归次数从线性降为对数级,从而扩展到长时程任务。