Anthropic 发布 Claude Sonnet 5.5
Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5，官方称其运行速度快 30% 以上、多数工作成本最多降低 30%，定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。
#评测/基准
#评测/基准
今日 0 条9月29日
9月23日
OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
Anthropic 发布 Claude Opus 5.5，OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna
Anthropic 发布 Claude Opus 5.5，约一小时后 OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna，GPT-6 Sol 与 Luna 的价格均为对应 GPT-5.6 型号的一半。
9月22日
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
9月2日
Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的方法，基于多维项目反应理论（MIRT）分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关，单一基准分数可能混合多种信号。
8月28日
Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，印地语成为该多语言榜单上的首个印度语言。
8月27日
Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
8月24日
Import AI 470：机器不应享有权利；用 SPADE 自动生成训练环境；用 Hawkeye 构建更好的 GPU kernel
METR 研究显示 AI 对科学发现的影响并不均衡：2026 年网络安全漏洞报告速度较 2025 年大幅加快，数学领域仅小幅加速，而 AI 研究本身的算法进展尚无显著加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境并求解，在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3，较基线提升 8.1。
8月21日
Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
8月17日
Import AI 469：DiG-bench 评测 AI 发现能力、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，Opus 5 和 Fable 5 配合 Claude Code 表现最佳，仅二者能在 Tier 7 通关部分任务，而人类可 100% 通关。
8月13日
MindTopo：微软研究院推出评估多模态大模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用，跨多步操作后常改变拓扑或违反任务约束。
8月12日
Google Research 研究：召回而非编码是大模型事实性瓶颈
Google Research 提出知识画像框架，用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM，发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实，却仍有 26–34% 无法直接召回，开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足，而非知识缺失，瓶颈正从知识获取转向知识利用。
8月4日
微软研究院开源 Orchard 智能体框架，Orchard-SWE 在 SWE-bench Verified 达 69.7%
微软研究院发布开源框架 Orchard，核心是 Kubernetes 环境服务 Orchard Env，可跨任务复用环境、数据管线与评测流程，并支持在 Codex、OpenClaw、ZeroClaw 等真实部署框架内直接训练智能体。
7月27日
Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成人类需长时间投入的编程任务的能力，该基准 4 月首次公布，此次补充测试后正式发布。
7月16日
DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过两阶段训练实现领域专精：先以葡萄牙语语料监督微调，再用 DPO 提升推理稳定性。作者认为，尽管新架构不断涌现，专注单一语言的参数集中策略仍构成结构性优势。
7月15日
Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音评测基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
7月6日
Import AI 464：Fable 编写 GPU 内核、AI 自动化与模拟计算
Import AI 第 464 期汇总多项进展：Fable 在 KernelBench-Mega 上写出被维护者称为首个真正且最快的 megakernel，在 RTX PRO 6000 Blackwell 上以 CUDA 实现 18.71 倍加速，对比 Claude Opus 4.8 的 14.4 倍、GLM-5.2 的 11.14 倍和 GPT 5.5 的 4.34 倍。
7月1日
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
6月30日
Hugging Face 模型页上线 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并回链到完整记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖超 22,000 个模型和 2,200 个基准，来自 31 种报告格式。
6月15日
Import AI 461：Sequent 称“对齐尚未走上正轨”、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为对齐研究尚未准备好应对超级智能，计划两三年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元。
5月16日
WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天以 80% 置信度预测飓风 Melissa 将以五级强度登陆牙买加，三日前置信度接近 100%。
5月4日
Import AI 455：AI 系统即将开始自我构建
Jack Clark 在 Import AI 455 中判断，到 2028 年底出现无需人类参与、能自主训练后继模型的 AI 研发的概率约为 60%，2027 年的概率约为 30%。
4月14日
Google 推出 Vantage：用生成式 AI 评估未来技能
Google 发布研究实验 Vantage，通过生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示，AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。
4月9日
Google Research 发布 ConvApparel 数据集，量化并弥合用户模拟器的真实感差距
Google Research 推出 ConvApparel，一个包含 4000 多组人机多轮对话（近 15000 轮）的服饰购物领域数据集，用于量化 LLM 用户模拟器与真实人类的真实感差距。
4月3日
Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
4月1日
Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，反映人类意见分歧常需超过 10 名。
3月17日
Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
4月9日
Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取加权平均。