XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
AWS 提出 Agent Development Lifecycle(Agent DLC),用一个生命周期、两个循环和统一验收标准来判定智能体的每次变更是否可上线。
AWS 发布开源框架 UAEF,用适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace,再以 7 个维度 36 项内置指标打分。
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三类评估器,内置评估器由 AWS 编写并经过质量测试,共 16 个,覆盖响应质量、任务完成、工具使用、技能和安全五个维度。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作,新增埃及和尼日利亚两种英语口音的私有评测数据。埃及口音数据为 1.34 小时、尼日利亚口音为 1.55 小时,均为对话式自发语音,转写含标点、大小写和不流畅词。榜单同时按 Kachru 三圈模型新增口音分组,区分美国与非美国、内圈与外圈及扩展圈口音。
Amazon Bedrock AgentCore Evaluations 可通过代码型评估器接入决策模型,把评估输入转换为决策模型请求、再把概率转回评估结果。示例接入 TypeSafe 的托管决策模型 Jev 和 Strands Agents 团队开源的 2B 参数模型 Strands Decider 2B,二者支持 noul、choice、score 三类问题。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
IBM 团队用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents,任务通过率分别为 81.1%、46.7% 和 30.0%,场景全通过率为 66.7%、26.7% 和 6.7%。
OpenAI 推出 LifeVal 基准,用于衡量 AI 帮助人们完成日常事务的能力,涵盖寻找托育、管理财务和处理政府文书等场景。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,全程不使用任何客户数据。
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型判断科研想法新颖性的可靠性,并同步开源基准、数据和代码。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性与 145 条低新颖性的人类想法池,另配 154 条 LLM 生成想法。
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图像并改用多标签分类,结合 v0 到 v27 的提示词迭代优化,在 Amazon Bedrock 上选出新模型,准确率更高且成本降低 86%。
Hugging Face 发布 FairStress 基准,用于测量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
OpenAI 正在改进 ChatGPT 对低资源编程语言的支持,并新增了软件工程、SQLite 和 COBOL 迁移方向的评测。
AWS 销售、营销与全球服务(SMGS)运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向全球现场销售的多智能体系统评估框架,用于在每次发布前及生产环境中持续验证回答是否有据、正确,并追溯失败根因。
阿布扎比技术创新研究院(TII)发布 Falcon-ASR,一个 1.6B 参数的语音识别模型,主打阿拉伯语并聚焦阿联酋方言,同时支持英语、法语、西班牙语和葡萄牙语。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果超出预期时仔细审视数据的重要性。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER,在 H200 GPU 上测 RTFx 与 TTFA,并用 WavLM 嵌入算说话人相似度 SIM,支持多语言与声音克隆对比。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集,印地语成为该多语言榜单上的首个印度语言。
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测,将外部评测限制在密码学隔离环境中,避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
微软研究院推出 MindTopo 基准,用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用,跨多步操作后常改变拓扑或违反任务约束。
Google Research 提出知识画像框架,用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM,发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实,却仍有 26–34% 无法直接召回,开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足,而非知识缺失,瓶颈正从知识获取转向知识利用。
微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可跨任务复用环境、数据管线与评测流程,并支持在 Codex、OpenClaw、ZeroClaw 等真实部署框架内直接训练智能体。
DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过两阶段训练实现领域专精:先以葡萄牙语语料监督微调,再用 DPO 提升推理稳定性。作者认为,尽管新架构不断涌现,专注单一语言的参数集中策略仍构成结构性优势。
Hume 发布 Real World VoiceEQ 语音评测基准,覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Every Eval Ever(EEE)与 Hugging Face Community Evals 现已互通,评测结果可交叉发布并回链到完整记录。EEE 数据存储已收录约 229,000 条评测结果,覆盖超 22,000 个模型和 2,200 个基准,来自 31 种报告格式。
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天以 80% 置信度预测飓风 Melissa 将以五级强度登陆牙买加,三日前置信度接近 100%。
Google 发布研究实验 Vantage,通过生成式 AI 构建模拟对话环境,评估高中与大学生的问题解决、协作等未来技能,现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示,AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。
Google Research 推出 ConvApparel,一个包含 4000 多组人机多轮对话(近 15000 轮)的服饰购物领域数据集,用于量化 LLM 用户模拟器与真实人类的真实感差距。
Google Research 提出一套框架,用改编自 IRI、ERQ 等心理学问卷的情境判断测试(SJT),在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡,发现常用的每条目 1、3、5 名标注者往往不足,反映人类意见分歧常需超过 10 名。
Google 与康奈尔大学合作在 PNAS 发表研究,让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题,由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。