OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
#评测/基准
#评测/基准
今日 0 条9月23日
9月22日
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
9月2日
Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的方法，基于多维项目反应理论（MIRT）分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关，单一基准分数可能混合多种信号。
8月28日
Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，印地语成为该多语言榜单上的首个印度语言。
8月24日
Import AI 470：机器不应享有权利；用 SPADE 自动生成训练环境；用 Hawkeye 构建更好的 GPU kernel
METR 研究显示 AI 对科学发现的影响并不均衡：2026 年网络安全漏洞报告速度较 2025 年大幅加快，数学领域仅小幅加速，而 AI 研究本身的算法进展尚无显著加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境并求解，在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3，较基线提升 8.1。
8月21日
Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
8月17日
Import AI 469：DiG-bench 评测 AI 发现能力、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，Opus 5 和 Fable 5 配合 Claude Code 表现最佳，仅二者能在 Tier 7 通关部分任务，而人类可 100% 通关。
8月13日
MindTopo：微软研究院推出评估多模态大模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用，跨多步操作后常改变拓扑或违反任务约束。
8月12日
Google Research 研究：召回而非编码是大模型事实性瓶颈
Google Research 提出知识画像框架，用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM，发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实，却仍有 26–34% 无法直接召回，开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足，而非知识缺失，瓶颈正从知识获取转向知识利用。
7月27日
Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成人类需长时间投入的编程任务的能力，该基准 4 月首次公布，此次补充测试后正式发布。
7月15日
Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音评测基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
7月1日
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
4月14日
Google 推出 Vantage：用生成式 AI 评估未来技能
Google 发布研究实验 Vantage，通过生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示，AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。
4月9日
Google Research 发布 ConvApparel 数据集，量化并弥合用户模拟器的真实感差距
Google Research 推出 ConvApparel，一个包含 4000 多组人机多轮对话（近 15000 轮）的服饰购物领域数据集，用于量化 LLM 用户模拟器与真实人类的真实感差距。
4月3日
Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
4月1日
Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，反映人类意见分歧常需超过 10 名。
3月17日
Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。