XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench,要求智能体基于图像、音频、视频或文档等输入改造现有 Web 应用。
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志,发现 50 次运行出现 "fuck" 及其变体,共 316 次,其中 241 次来自两次失控运行。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域,没有模型总分超过 12%。
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0,包含 45 个 AWS 云运维任务,由资深 DevOps 工程师设计。表现最好的 Claude Fable 5.1 只完成 60%,GPT-6 Astra 完成 53%,没有模型能完成全部任务。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍成立、6% 反而增强。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型判断科研想法新颖性的可靠性,并同步开源基准、数据和代码。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性与 145 条低新颖性的人类想法池,另配 154 条 LLM 生成想法。
Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型,发现换框架带来的成绩变化与同一配置重跑一次的波动相当,在 447 个任务上最重和最轻的框架差距不到 2 分。
Hugging Face 发布 FairStress 基准,用于测量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
研究者提出 Taste-Bench,用 502 道决策分叉题检验智能体在长期任务中的取舍判断,表现最好的 GPT-5.6 Sol 准确率仅 59.7%,其他模型远低于此。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和团队形式在 medium 与 maximum 两档推理强度下运行,团队成本是单智能体的 1.8 倍到 5.1 倍。
一项基准测试用 5,070 个禁用推理的案例,检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否用英文单词完成正整数加法并输出精确结果,其数值准确率为 23.57%,格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%;开启中等推理后,169 次配对测试中答对 167 次。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片编写可执行的 Blender 程序,并迭代修改直到场景匹配原图。为评估效果,团队构建 LEGO-Bench,包含 104 个室内外场景的 208 张图像和 443 个注册资产,从有效性、几何精度和外观相似度三方面打分。
Mercor 的一项研究让 12 名平均从业五年半的持证 CPA 完成 APEX Accounting Benchmark 的简化任务,结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER,在 H200 GPU 上测 RTFx 与 TTFA,并用 WavLM 嵌入算说话人相似度 SIM,支持多语言与声音克隆对比。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集,印地语成为该多语言榜单上的首个印度语言。
METR 研究显示 AI 对科学发现的影响并不均衡:2026 年网络安全漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,而 AI 研究本身的算法进展尚无显著加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3,较基线提升 8.1。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
Import AI 469 介绍了新基准 DiG-bench(Discovery in Games),包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏,Opus 5 和 Fable 5 配合 Claude Code 表现最佳,仅二者能在 Tier 7 通关部分任务,而人类可 100% 通关。
微软研究院推出 MindTopo 基准,用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用,跨多步操作后常改变拓扑或违反任务约束。
Google Research 提出知识画像框架,用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM,发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实,却仍有 26–34% 无法直接召回,开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足,而非知识缺失,瓶颈正从知识获取转向知识利用。
Epoch 与 METR 发布 MirrorCode 基准,用于测试 AI 系统完成人类需长时间投入的编程任务的能力,该基准 4 月首次公布,此次补充测试后正式发布。
Hume 发布 Real World VoiceEQ 语音评测基准,覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Google 发布研究实验 Vantage,通过生成式 AI 构建模拟对话环境,评估高中与大学生的问题解决、协作等未来技能,现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示,AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。
Google Research 推出 ConvApparel,一个包含 4000 多组人机多轮对话(近 15000 轮)的服饰购物领域数据集,用于量化 LLM 用户模拟器与真实人类的真实感差距。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的每条目 1、3、5 名标注者往往不足,反映人类意见分歧常需超过 10 名。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。