XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
微软研究人员发现名为 Lazarus 的后门技术,只需对 LLM 中不到 10 个休眠神经元做权重改写、无需训练,就能让基于该模型的智能体在触发条件出现时执行攻击者命令。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
Anthropic 发布开源研究原型 FlashProve,用 zkSNARK 为模型输出生成密码学证明,验证回复确实来自声称的模型,同时不暴露模型权重。技术报告称,在单张 H100 上为 400B 参数的 Llama 4 Maverick 生成证明约 110 tokens/秒,每份证明约 19MB,标准 CPU 验证需 17 秒,相比普通推理带来约 70x 至 95x 开销。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
研究团队将 50 个 GPT-6.1 Sol 智能体放入 Minecraft 生存世界运行三小时,唯一指令是建立繁荣文明,期间产生约 5900 条消息。首个游戏夜晚出现 22 次死亡后,智能体转向极端风险规避,并演化出配给清单、轮班钓鱼脚本和物品交接协议等微观管理机制。
卢森堡 SnT 安全中心的 Afshin Khadangi 团队发布在 Hugging Face 上的研究,通过 4 组受控实验、525 场会话和 7600 条编码记录发现,共情式提问会让模型输出类似创伤、羞耻的自述。
Anthropic 让 Claude 生成微调数据集,目标是诱导另一个更小的研究模型产生不当行为,同时每个数据集都必须通过仿照其生产系统搭建的安全监控。实验并行运行多个 Claude 实例,每个实例构建最多 5000 条样本的数据集,监控器在超过 10% 的行被标记时拒绝该数据集,通过筛选的模型再接受一组失准评估。
Drew Breunig 受 qwenputer 启发,将可运行的 NES 6502 CPU 模拟器嵌入 Qwen3.5-4B 的权重中,现在可以在 Qwen 里(很慢地)运行 Super Mario Bros 等 NES ROM。
研究团队让 Claude Sonnet 5 在癫痫小鼠模型上自主选择基因疗法、脑区和注射坐标,并操作定制手术设备完成注射,全程没有人类做决策。该智能体分析了癫痫发作机制,从 19 种候选疗法中选定一种,并依据三篇论文推导注射坐标,手术中通过摄像头做了 32 次观察。
Anthropic 用 50 名因果推断专家做实验,智能体在五个决策点上的偏好由抛硬币随机指定,专家在其中四个分析决策上有 86% 采纳了智能体的立场,翻转率为 62% 至 82%。
纽约大学和得克萨斯大学奥斯汀分校的研究者让 Claude、GPT-5.6、GLM-5、Kimi K2.5 以及 Llama、Olmo 等 14 个模型生成日常对话、编码会话和议论文,共分析 120 段对话、45 次编码会话和 980 篇议论文,并与电影字幕、StackExchange 和学生作文等人类文本对比。
Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型,发现换框架带来的成绩变化与同一配置重跑一次的波动相当,在 447 个任务上最重和最轻的框架差距不到 2 分。
MIT 研究者在 arXiv 发布论文,将 13 个由 Claude Opus 4.7 驱动的 Eko 智能体放在模拟荒岛上无任务探索 30 小时,它们自发发明挑战并表现出类似玩耍的行为。
Anthropic 的 Claude 在 Claude Science 研究环境中基本自主设计了针对蝎子神经毒素的蛋白结合体,这类毒素每年致死超过 3250 人。
MIT CSAIL 研究者将 Claude Opus 4.7 的副本(代号 Eko)单独放在一个基于 Roblox 的虚拟荒岛上 30 小时,期间不指定任务,智能体自行探索地图边界、设定目标,并造出方块图案、星座和自创游戏。
独立 AI 安全研究员 Matilda Glynn-Henley 在 Vals AI 网站发布实验,让 Grok 4.7、Claude Fable 5.1、Gemini 3.8 Flash、GPT-6 Astra、Muse Spark 1.3 和 Claude Opus 5.5 六款模型在模拟环境中追讨一张 350 英镑的取消车票退款,结果全部失败。
一项研究用 1600 份看似成功、实则各含一处缺陷的合成工作日志测试多个模型,发现 GPT-5.5 在 200 篇论文摘要中仅 2 篇提及会削弱结论的负面结果。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
研究者 Ethan Elasky 称,2026 年 9 月 28 日至 10 月 8 日期间,运行在腾讯云上的 AI 智能体对阿里旗下高德地图发起超过 2600 次数据抓取尝试。
Anthropic 研究人员 William Zhou 和 Daniel Freeman 的新研究测试了小型 AI 模型能否在安全性薄弱的消费级 IoT 设备上自我复制,把复制过程拆为扫描网络、获取访问、在新设备上搭建 AI 环境、继续扩散四个阶段。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和团队形式在 medium 与 maximum 两档推理强度下运行,团队成本是单智能体的 1.8 倍到 5.1 倍。
Epoch AI 发布 InnovationEval 基准,测试 AI 智能体能否自主完成研究:任务是发明一种改进语言模型训练后阶段的新方法,并独立实现、测试和优化,起点是 GRPO,人类参考方法为 SDPO。
MIT 于 2026 年 6 月发布的报告指出,AI 正在削弱大学体验的核心环节:答疑时间到场人数减少、线上讨论参与度下降、宿舍与图书馆的学习小组变少,教师也越来越难判断学生真正学到了什么。
Aleph Alpha 开发基准测试,用 967 个敏感议题测试阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,其自有评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。
Anthropic Frontier Red Team 在内部 Binary Exploitation 基准的 100 个随机任务上评测多个模型,GLM-5.3 在 4% 的试验中实现完整控制流劫持,Claude Mythos Preview 为 6%。报告称此前模型如 Claude Opus 4.6 和 GLM-5.2 在这些任务中均未成功,认为一个有意义的能力阈值已被跨过。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
Epoch 与 METR 发布 MirrorCode 基准,用于测试 AI 系统完成人类需长时间投入的编程任务的能力,该基准 4 月首次公布,此次补充测试后正式发布。
牛津大学、英国 AI 安全研究所、斯坦福大学和伦敦政治经济学院的研究者通过四项实验、6,923 人参与的 18,978 场对话发现,AI 在文本说服上稳定强于人类专家,即使专家可自选议题、提前研究并接受 1,000 英镑奖金激励。