Hume 发布 Real World VoiceEQ：衡量语音 AI 的人类质量
Hume 发布 Real World VoiceEQ 语音评测基准，覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。
#评测/基准
#评测/基准
今日 0 条7月15日
7月6日
Import AI 464：Fable 编写 GPU 内核、AI 自动化与模拟计算
Import AI 第 464 期汇总多项进展：Fable 在 KernelBench-Mega 上写出被维护者称为首个真正且最快的 megakernel，在 RTX PRO 6000 Blackwell 上以 CUDA 实现 18.71 倍加速，对比 Claude Opus 4.8 的 14.4 倍、GLM-5.2 的 11.14 倍和 GPT 5.5 的 4.34 倍。
7月1日
ScarfBench：面向企业级 Java 框架迁移的 AI 智能体基准测试
Hugging Face 发布 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
6月30日
Hugging Face 模型页上线 Every Eval Ever 评测结果
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，评测结果可交叉发布并回链到完整记录。EEE 数据存储已收录约 229,000 条评测结果，覆盖超 22,000 个模型和 2,200 个基准，来自 31 种报告格式。
6月15日
Import AI 461：Sequent 称“对齐尚未走上正轨”、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为对齐研究尚未准备好应对超级智能，计划两三年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元。
5月16日
WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加
Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天以 80% 置信度预测飓风 Melissa 将以五级强度登陆牙买加，三日前置信度接近 100%。
5月4日
Import AI 455：AI 系统即将开始自我构建
Jack Clark 在 Import AI 455 中判断，到 2028 年底出现无需人类参与、能自主训练后继模型的 AI 研发的概率约为 60%，2027 年的概率约为 30%。
4月14日
Google 推出 Vantage：用生成式 AI 评估未来技能
Google 发布研究实验 Vantage，通过生成式 AI 构建模拟对话环境，评估高中与大学生的问题解决、协作等未来技能，现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分，与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示，AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。
4月9日
Google Research 发布 ConvApparel 数据集，量化并弥合用户模拟器的真实感差距
Google Research 推出 ConvApparel，一个包含 4000 多组人机多轮对话（近 15000 轮）的服饰购物领域数据集，用于量化 LLM 用户模拟器与真实人类的真实感差距。
4月3日
Google Research 评估 LLM 行为倾向与人类的对齐程度
Google Research 提出一套框架，用改编自 IRI、ERQ 等心理学问卷的情境判断测试（SJT），在真实用户-助手场景中评估 LLM 行为倾向与人类共识的对齐程度。
4月1日
Google Research 研究：AI 评测需要多少标注者才够？
Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1、3、5 名标注者往往不足，反映人类意见分歧常需超过 10 名。
3月17日
Google 在 PNAS 发表研究：用高温超导问题测试 LLM 世界模型
Google 与康奈尔大学合作在 PNAS 发表研究，让 GPT-4o、Perplexity、Claude 3.5、Gemini Advanced Pro 1.5、NotebookLM 和一套自建 RAG 系统回答 67 道高温超导专家级问题，由 12 位国际专家按平衡性、全面性、简洁性、证据、图像相关性和定性反馈六项指标盲评打分。
4月9日
Mistral 如何用 LLM as a Judge 评估 RAG 系统
Mistral 提出用 LLM as a Judge 评估 RAG 系统，由 judge LLM 按数值、二元或定性量表为 generator LLM 的回答打分，再对评测数据集取加权平均。