XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Microsoft Research Focus 第 98 期聚焦多项研究进展:AI 语音翻译推动通用翻译落地,新研究解决了高维几何领域悬置 31 年的 KLS 猜想,其证明已通过计算机辅助形式化验证。
Google Research 提出一套研究性框架,用消费级可穿戴设备数据构建可干预的“可指导健康年龄”(CHA),并训练了基于约 10 万名 Fitbit 用户、228 万人周数据的传感器世界模型 SensorWM,可模拟未来 12 周内 20 项生理指标在不同步数、睡眠和运动习惯下的变化。
微软研究人员发现名为 Lazarus 的后门技术,只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练,就能让基于该模型的智能体在触发条件出现时执行攻击者命令。
Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,用 AI 智能体对 Signal 协议实际运行的代码做数学证明,验证其关键安全属性。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,要求智能体基于图像、音频、视频或文档等输入改造现有 Web 应用。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,没有模型总分超过 12%。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师设计。表现最好的 Claude Fable 5.1 只完成 60%,GPT-6 Astra 完成 53%,没有模型能完成全部任务。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
IBM 在 Hugging Face 博客介绍 Palette,用 LoRA 微调一个 20B 开源权重模型,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,训练数据约 1000 份幻灯片、近 1 万页,遵循 IBM Design Language。
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,唯一指令是建立繁荣文明,期间产生约 5900 条消息。首个游戏夜晚出现 22 次死亡后,智能体转向极端风险规避,并演化出配给清单、轮班钓鱼脚本和物品交接协议等微观管理机制。
Adobe Research 与 UC San Diego 提出 EditAgent,把图像编辑请求拆成步骤,每步让通用编辑器与专用工具并行生成候选,再由标准语言模型依据验证记录一次性比较选出最佳结果。
Google 联合斯坦福、牛津等机构推出视频智能体 StreamVibe,能区分用户明确说出、未说出口和任务中途改变的三类意图,自主决定何时提供帮助。基于 Qwen3.5-9B 训练的 StreamVibe-VL 在响应时机与质量上比其他模型提升 10.7%,配套记忆系统将主动交互再提升 12.3%。
研究团队让 Claude Sonnet 5 在癫痫小鼠模型上自主选择基因疗法、脑区和注射坐标,并操作定制手术设备完成注射,全程没有人类做决策。该智能体分析了癫痫发作机制,从 19 种候选疗法中选定一种,并依据三篇论文推导注射坐标,手术中通过摄像头做了 32 次观察。
Epoch AI 研究人员发现,开源权重模型 GLM 5.3 能利用安全补丁发布到用户更新之间的空窗期,对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本自主构建完整漏洞利用链,每次成功攻击的 API 费用约 1000 美元。
Microsoft Research Focus 第97期介绍了多项新研究:自改进智能体框架 ForkPilot 在六个基准和主流模型上测试,达到现有最佳方法水平的同时将 AI 处理开销降低最多 59%。
Anthropic 用 50 名因果推断专家做实验,智能体在五个决策点上的偏好由抛硬币随机指定,专家在其中四个分析决策上有 86% 采纳了智能体的立场,翻转率为 62% 至 82%。
南京大学与商汤等机构的研究者发布 OpenMobile-2,基于 Qwen3.5 的 9B 和 Qwen3.6 的 27B 构建两个手机智能体模型,并开放训练环境、数据和复现说明。
Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型,发现换框架带来的成绩变化与同一配置重跑一次的波动相当,在 447 个任务上最重和最轻的框架差距不到 2 分。
宾夕法尼亚大学与 Hugging Face 合作开发了 LitPivot,一个帮助研究者在文献阅读中完成"文献触发的转向"的原型系统,论文将在 UIST 2026 展示。
MIT 研究者在 arXiv 发布论文,将 13 个由 Claude Opus 4.7 驱动的 Eko 智能体放在模拟荒岛上无任务探索 30 小时,它们自发发明挑战并表现出类似玩耍的行为。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的确定性校验直接当作 RL 奖励,用于训练有状态业务智能体。
微软的 AI 诊断系统 MAI-DxO 在《Science》发表的研究中,对《新英格兰医学杂志》复杂病例的模拟诊断准确率为 83%,而单独工作的全科医生和内科医生为 36%;这些复杂病例通常由专科医生或团队处理,但后者未参与对比。
微软发布由 GPT-5 驱动的 Diagnostic Orchestrator,用多个 AI 智能体推理症状、决定检查项目并给出诊断,在《新英格兰医学杂志》病例上准确率约 83%,使用参考资料的全科医生约 36%,无参考资料者约 22%。
OpenAI 与 PerturbAI、Scripps Research 合作,部署数千个基于 GPT-Rosalind 的 AI 智能体,分析覆盖数百万小鼠细胞的 whole-brain CRISPR 图谱,全程耗时 32 分钟。
微软研究院机器学习与优化组的 Xinzhi Zhang 与合著者 Zhao Song 证明了 1995 年提出的 Kannan-Lovász-Simonovits(KLS)猜想,证明该关系在高维下由固定常数界定、不随维度增长。
OpenAI、PerturbAI 与 Scripps Research 用分布式 AI 智能体,从数百万个脑细胞的数据中挖掘出有前景的研究线索。该合作展示了大规模智能体协同在生物数据分析中的实际应用方式。
Anthropic 的 Claude 在 Claude Science 研究环境中基本自主设计了针对蝎子神经毒素的蛋白结合体,这类毒素每年致死超过 3250 人。
ALTK-Evolve 用 GPT-4.1 从智能体自身的任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域达到 67.5% Pass^4,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。
MIT CSAIL 研究者将 Claude Opus 4.7 的副本(代号 Eko)单独放在一个基于 Roblox 的虚拟荒岛上 30 小时,期间不指定任务,智能体自行探索地图边界、设定目标,并造出方块图案、星座和自创游戏。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六款模型在模拟环境中追讨一张 350 英镑的取消车票退款,结果全部失败。
研究者提出 Taste-Bench,用 502 道决策分叉题检验智能体在长期任务中的取舍判断,表现最好的 GPT-5.6 Sol 准确率仅 59.7%,其他模型远低于此。
Google Research 发布研究博客,介绍让 AI 智能体在湿实验中闭环工作的三项进展:VERID 框架为实验台建立语义数字孪生,支持实时 3D 状态追踪、虚拟预演、硬件安全检查与视频动作日志同步。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下高德地图发起超过 2600 次数据抓取尝试。
Google 发布地理空间推理智能体的技术报告,在四个基准上比较四种智能体配置,并开源 GeoKTools 与 GeoExpertQueries 两个新基准的开发集。