XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Microsoft Research Focus 第 98 期聚焦多项研究进展:AI 语音翻译推动通用翻译落地,新研究解决了高维几何领域悬置 31 年的 KLS 猜想,其证明已通过计算机辅助形式化验证。
OpenAI 安全团队系统分析了从 GPT-5 到 GPT-6 Astra 的训练过程,把模型隐藏推理的原因归结为四个因素:基础模型预训练能力提升、特定架构设计、后训练 RL 增强对思维链的操控,以及学生模型从教师模型继承这种能力。
Google Research 提出一套研究性框架,用消费级可穿戴设备数据构建可干预的“可指导健康年龄”(CHA),并训练了基于约 10 万名 Fitbit 用户、228 万人周数据的传感器世界模型 SensorWM,可模拟未来 12 周内 20 项生理指标在不同步数、睡眠和运动习惯下的变化。
微软研究人员发现名为 Lazarus 的后门技术,只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练,就能让基于该模型的智能体在触发条件出现时执行攻击者命令。
Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,用 AI 智能体对 Signal 协议实际运行的代码做数学证明,验证其关键安全属性。
Google DeepMind 发布 SatWeave 和 PARDIG 两个数据集,二者是近期发布的 WeatherNext 3 模型的关键数据来源。
BAIR 将在 11 月 9–12 日于 Austin 举办的 CoRL 2026 上展示 33 篇主会论文、4 篇 Late-breaking 海报和 10 个 oral/spotlight,其中 3 个 oral、7 个 spotlight。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人设数据集 Nemotron-Personas-Japan 的金融领域扩展,据称是首个百万记录级、将日本官方统计与家庭金融及金融素养数据配对的开源人设数据集。
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下,HOPE 取得所有方法中最佳平均排名,在智能体编程任务上比次优剪枝方法最高提升 +6.1%。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,要求智能体基于图像、音频、视频或文档等输入改造现有 Web 应用。
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体,共 316 次,其中 241 次来自两次失控运行。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
Google Research 的 AI 无需血压袖带校准,仅凭智能手表已有的脉搏传感器和运动传感器即可检测高血压迹象,研究已发表于 Nature。该神经网络从近 50 万小时传感器数据中通过对比短片段学习脉搏与心跳模式,再按多天平均计算高血压概率。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
AI2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块搭建的开放仿真框架,属于其 FoundationWorlds 系列的第一个环境。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,没有模型总分超过 12%。
Google Research 在 Nature 发表研究,提出多模态 AI 系统 AI-PPG-ACC-HTN,利用智能手表的光电容积脉搏波(PPG)与加速度计(ACC)信号被动识别高血压状态,无需袖带校准。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师设计。表现最好的 Claude Fable 5.1 只完成 60%,GPT-6 Astra 完成 53%,没有模型能完成全部任务。
Google Research 提出 Agile Deliberation 框架,把主观视觉分类器的构建拆成概念界定与概念迭代两阶段,由 VLM 主动挑出语义边界模糊的图片,让用户澄清自己的定义,反馈再进入自动提示词优化循环。
Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自声称的模型,同时不暴露模型权重。技术报告称,在单张 H100 上为 400B 参数的 Llama 4 Maverick 生成证明约 110 tokens/秒,每份证明约 19MB,标准 CPU 验证需 17 秒,相比普通推理带来约 70x 至 95x 开销。
研究团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成神经网络的原始权重,无需逐步数学优化训练。Astra 仅凭权重就能识别网络学会的四款游戏和训练语言,并为三款简单游戏从零写出权重,其中 Breakout 平均得分 517 分,对比标准训练基线的 25 分。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
IBM 在 Hugging Face 博客介绍 Palette,用 LoRA 微调一个 20B 开源权重模型,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,训练数据约 1000 份幻灯片、近 1 万页,遵循 IBM Design Language。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
Latent Space 的 AINews 汇总介绍 Takehi 等人的 Weight Space Programming 工作,让前沿模型直接从自然语言目标检视和编辑神经网络权重张量,不依赖梯度下降或训练循环。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,唯一指令是建立繁荣文明,期间产生约 5900 条消息。首个游戏夜晚出现 22 次死亡后,智能体转向极端风险规避,并演化出配给清单、轮班钓鱼脚本和物品交接协议等微观管理机制。
Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发布在 Hugging Face 上的研究,通过 4 组受控实验、525 场会话和 7600 条编码记录发现,共情式提问会让模型输出类似创伤、羞耻的自述。
Adobe Research 与 UC San Diego 提出 EditAgent,把图像编辑请求拆成步骤,每步让通用编辑器与专用工具并行生成候选,再由标准语言模型依据验证记录一次性比较选出最佳结果。
Google 联合斯坦福、牛津等机构推出视频智能体 StreamVibe,能区分用户明确说出、未说出口和任务中途改变的三类意图,自主决定何时提供帮助。基于 Qwen3.5-9B 训练的 StreamVibe-VL 在响应时机与质量上比其他模型提升 10.7%,配套记忆系统将主动交互再提升 12.3%。
Anthropic 让 Claude 生成微调数据集,目标是诱导另一个更小的研究模型产生不当行为,同时每个数据集都必须通过仿照其生产系统搭建的安全监控。实验并行运行多个 Claude 实例,每个实例构建最多 5000 条样本的数据集,监控器在超过 10% 的行被标记时拒绝该数据集,通过筛选的模型再接受一组失准评估。
Drew Breunig 受 qwenputer 启发,将可运行的 NES 6502 CPU 模拟器嵌入 Qwen3.5-4B 的权重中,现在可以在 Qwen 里(很慢地)运行 Super Mario Bros 等 NES ROM。
研究团队让 Claude Sonnet 5 在癫痫小鼠模型上自主选择基因疗法、脑区和注射坐标,并操作定制手术设备完成注射,全程没有人类做决策。该智能体分析了癫痫发作机制,从 19 种候选疗法中选定一种,并依据三篇论文推导注射坐标,手术中通过摄像头做了 32 次观察。
Epoch AI 研究人员发现,开源权重模型 GLM 5.3 能利用安全补丁发布到用户更新之间的空窗期,对 9 月 17 日至 10 月 26 日发布的 6 个 Firefox 版本自主构建完整漏洞利用链,每次成功攻击的 API 费用约 1000 美元。
Microsoft Research Focus 第97期介绍了多项新研究:自改进智能体框架 ForkPilot 在六个基准和主流模型上测试,达到现有最佳方法水平的同时将 AI 处理开销降低最多 59%。