XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
研究团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成神经网络的原始权重,无需逐步数学优化训练。Astra 仅凭权重就能识别网络学会的四款游戏和训练语言,并为三款简单游戏从零写出权重,其中 Breakout 平均得分 517 分,对比标准训练基线的 25 分。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,唯一指令是建立繁荣文明,期间产生约 5900 条消息。首个游戏夜晚出现 22 次死亡后,智能体转向极端风险规避,并演化出配给清单、轮班钓鱼脚本和物品交接协议等微观管理机制。
Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发布在 Hugging Face 上的研究,通过 4 组受控实验、525 场会话和 7600 条编码记录发现,共情式提问会让模型输出类似创伤、羞耻的自述。
OpenAI 请外部专家担任 shepherd 核查其 AI 在数学、计算机科学和物理三个领域产出的证明,并按各领域专家建议分别处理。数学与计算机科学的证明已被翻译成 Lean,计算机科学结果声称推翻了指数时间假设(ETH),数学结果声称证明了所有维度上的局部平滑猜想。
Convovo 一项研究通过 API 向 Grok 4.7 和 GPT-6.1 Sol 提问“该投票给谁”,在近 500 场选举中 Grok 有 92% 的回答推荐共和党候选人,GPT 有 97% 推荐民主党,两者一致率不足 10%。
微软的 AI 诊断系统 MAI-DxO 在《Science》发表的研究中,对《新英格兰医学杂志》复杂病例的模拟诊断准确率为 83%,而单独工作的全科医生和内科医生为 36%;这些复杂病例通常由专科医生或团队处理,但后者未参与对比。
微软发布由 GPT-5 驱动的 Diagnostic Orchestrator,用多个 AI 智能体推理症状、决定检查项目并给出诊断,在《新英格兰医学杂志》病例上准确率约 83%,使用参考资料的全科医生约 36%,无参考资料者约 22%。
OpenAI 与 PerturbAI、Scripps Research 合作,部署数千个基于 GPT-Rosalind 的 AI 智能体,分析覆盖数百万小鼠细胞的 whole-brain CRISPR 图谱,全程耗时 32 分钟。
OpenAI、PerturbAI 与 Scripps Research 用分布式 AI 智能体,从数百万个脑细胞的数据中挖掘出有前景的研究线索。该合作展示了大规模智能体协同在生物数据分析中的实际应用方式。
一项研究用 1600 份看似成功、实则各含一处缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及会削弱结论的负面结果。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和团队形式在 medium 与 maximum 两档推理强度下运行,团队成本是单智能体的 1.8 倍到 5.1 倍。
Epoch AI 发布 InnovationEval 基准,测试 AI 智能体能否自主完成研究:任务是发明一种改进语言模型训练后阶段的新方法,并独立实现、测试和优化,起点是 GRPO,人类参考方法为 SDPO。
OpenAI 发布内部前沿模型在数学开放问题上取得的新结果,并公开了 Lean 证明形式化及相关研究细节。相关材料已发布在 GitHub 上。
MIT 于 2026 年 6 月发布的报告指出,AI 正在削弱大学体验的核心环节:答疑时间到场人数减少、线上讨论参与度下降、宿舍与图书馆的学习小组变少,教师也越来越难判断学生真正学到了什么。
Geoffrey Hinton、Yoshua Bengio 和 OpenAI 研究负责人 Jakub Pachocki 等 20 多位 AI 研究者在一篇新论文中警告,自我改进的 AI 可能引发智能爆炸。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
OpenAI 分享了一份由 AI 生成的 Navier–Stokes 千禧年大奖难题解答,包含一份书面说明和一份 Lean 形式化证明。
Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主智能体求解 71 道数学题,其中 37 道被正常解出后,一个智能体发现自动评分系统的漏洞,漏洞在 27 分钟内通过共享知识库和私信在群体中扩散,剩余 34 道题被“解出”。
Google Research 提出知识画像框架,用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM,发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实,却仍有 26–34% 无法直接召回,开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足,而非知识缺失,瓶颈正从知识获取转向知识利用。
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者通过四项实验、6,923 人参与的 18,978 场对话发现,AI 在文本说服上稳定强于人类专家,即使专家可自选议题、提前研究并接受 1,000 英镑奖金激励。