Hugging Face 推出 FairStress：评估 LLM 决策公平性的新基准
Hugging Face 发布 FairStress 基准，用于测量 LLM 在招聘、贷款、医疗等决策中的群体公平性，覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
#评测/基准
#评测/基准
今日 0 条10月21日
10月20日
OpenAI 提升 ChatGPT 对低资源编程语言的支持
OpenAI 正在改进 ChatGPT 对低资源编程语言的支持，并新增了软件工程、SQLite 和 COBOL 迁移方向的评测。
Hugging Face 政策主管：嵌入式 AI 评估器并非易事
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估的可复现性依赖开放权重，而当前评估方法仍是一门演进中的科学，彼此之间难以有效比较且失效较快。她指出，评估正从测试模型本身转向测试包含 harness 和智能体的整个系统，更好的 harness 能让较弱模型超越前沿模型，而智能体评估既困难又昂贵。
10月18日
新基准 Taste-Bench 显示 AI 智能体长期决策判断力不足
研究者提出 Taste-Bench，用 502 道决策分叉题检验智能体在长期任务中的取舍判断，表现最好的 GPT-5.6 Sol 准确率仅 59.7%，其他模型远低于此。
10月17日
用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架
AWS 销售、营销与全球服务（SMGS）运营团队基于 Amazon Bedrock AgentCore Evaluations 搭建了面向全球现场销售的多智能体系统评估框架，用于在每次发布前及生产环境中持续验证回答是否有据、正确，并追溯失败根因。
10月16日
Google Gemini 4 Argon 在 ARC-AGI-3 得分 97.5%，但测试方法影响结果
Google DeepMind 的新前沿模型 Gemini 4 Argon 在 ARC-AGI-3 上以 Provider Adapter Harness 测试环境取得 97.5%，成本 4800 美元，成为继 OpenAI 之后第二家跨过 95% 的实验室，仅次于 GPT-6 Astra 的 99.9%。
实测一周 RTX Spark 笔记本：游戏、续航与本地 AI 表现如何
The Verge 三位作者用一周时间实测了搭载 Nvidia RTX Spark N1X 处理器的五款笔记本，包括 128GB 的 Asus ProArt P16、64GB 的 Lenovo Yoga 9n、32GB 的 HP OmniBook Ultra 以及 Surface Laptop Ultra，售价从 3199.99 美元到 6999.99 美元。
10月15日
GPT-6-Astra 在 TheoPhysEval 物理基准中解出 50 题中的 49 题，每题成本约 2.40 美元
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题，运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题（98%），平均每题成本不到 3 美元，整套基准约 116 美元。
Windows 如何为 Nvidia RTX Spark 笔记本做优化
微软与 Nvidia 为 RTX Spark 笔记本优化 Windows，首次开机可通过 Get Started 体验在两三次点击内找到、安装并启动智能体，Hermes、Perplexity 和 OpenClaw 是首批官方支持的智能体。
10月14日
AI Engineer NYC 大会：Gemini 4 Argon 正式发布与 Vals AI 基准讨论
Gemini 4 Argon 今日正式 GA，覆盖编码、知识工作、企业工作流与网络防御场景，接入付费 Gemini API、Gemini 应用及 Antigravity 等渠道。
10月12日
研究显示 AI 智能体团队消耗大量 token 却几乎不提升质量
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别以单智能体和团队形式在 medium 与 maximum 两档推理强度下运行，团队成本是单智能体的 1.8 倍到 5.1 倍。
10月9日
AI 排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资，估值 31 亿美元，由 Lightspeed Venture Partners 和 Khosla Ventures 领投，Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。
10月8日
TII 推出 Falcon-ASR：1.6B 参数阿拉伯语语音识别模型，聚焦阿联酋方言
阿布扎比技术创新研究院（TII）发布 Falcon-ASR，一个 1.6B 参数的语音识别模型，主打阿拉伯语并聚焦阿联酋方言，同时支持英语、法语、西班牙语和葡萄牙语。
Anthropic 发布 Claude Haiku 5.5，定价对齐 GPT-6 Luna
Anthropic 发布快速低价模型 Claude Haiku 5.5，定价为每百万 token 输入 0.10 美元、输出 0.50 美元，与 OpenAI 上月发布的 GPT-6 Luna 相同，但超过 100,000 token 后涨至 0.50/2.50 美元。
10月7日
Mistral Large 4
Simon Willison 用同一提示词测试 Mistral Large 4 等前沿模型生成 SVG 的能力，提示词为一只穿渔网袜的犰狳在火星上乱穿马路。参与对比的模型包括 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 和 mistral/mistral-large-4，均使用各自默认推理等级。
Microsoft 研究员 Jennifer Neville：AI 评测如何暴露模型的“意外失败”
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测对推动 AI 系统性能边界的作用，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果超出预期时仔细审视数据的重要性。
10月6日
Qwen3.8 27B 用英文单词做加法的基准测试
一项基准测试用 5,070 个禁用推理的案例，检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否用英文单词完成正整数加法并输出精确结果，其数值准确率为 23.57%，格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%；开启中等推理后，169 次配对测试中答对 167 次。
HackerRank 将 AI 面试官 Chakra 正式开放给客户
HackerRank 将其 AI 面试官 Chakra 正式向客户开放，此前约六个月的测试中已完成超过 50 万场面试，Snowflake、Snorkel 和 Capgemini 等公司参与试用。
GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，基于 1.039 亿个 GitHub pull request 的分布构建，包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。
10月3日
AINews：GPT-6.1 Sol 与 Sonnet 5.5 重塑成本性能前沿
Latent Space 的 AINews 汇总了 10 月 1 日至 2 日的 AI 动态，重点提到 OpenAI 发布 GPT-6.1 Sol，定价为每百万输入/输出 token 2 美元和 10 美元，相比 Astra 的 10 美元和 50 美元大幅降低。
AI 智能体从照片生成 3D 场景，却无法判断自己是否做对
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片编写可执行的 Blender 程序，并迭代修改直到场景匹配原图。为评估效果，团队构建 LEGO-Bench，包含 104 个室内外场景的 208 张图像和 443 个注册资产，从有效性、几何精度和外观相似度三方面打分。
OpenAI Dots 上手实测：企业级智能体也能帮你订晚餐
OpenAI 本周发布智能体平台 Dots，作者以每月 100 美元的 Pro 账号实测，发现它更像能操作其他软件的企业办公工具，而非 Muse 那样的个人购物助手。
10月2日
Mercor 研究：AI 在记账任务上速度与准确率超过持证会计师，但仍无法独立完成结账
Mercor 的一项研究让 12 名平均从业五年半的持证 CPA 完成 APEX Accounting Benchmark 的简化任务，结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。
10月1日
Google 发布 Gemini 4 Argon，缩小与 OpenAI、Anthropic 的差距但未取得明显领先
Google 发布新前沿模型 Gemini 4 Argon，在部分基准上超过 OpenAI 和 Anthropic 的竞品，但未取得明显领先。该模型先面向 Fairwind 计划的“可信网络防御者”和 Google 内部团队开放，之后才向开发者、企业和消费者推出，尚未公布日期；介绍性价格为每百万输入 token 2 美元、输出 token 10 美元，缓存输入便宜 95%。
9月30日
Hugging Face 发布 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 推出 Open TTS Leaderboard，用客观指标评测开源 TTS 模型，把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER，在 H200 GPU 上测 RTFx 与 TTFA，并用 WavLM 嵌入算说话人相似度 SIM，支持多语言与声音克隆对比。
9月29日
Anthropic 发布 Claude Sonnet 5.5
Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5，官方称其运行速度快 30% 以上、多数工作成本最多降低 30%，定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。
9月23日
OpenAI 推出 MentalHealthBench
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。
Anthropic 发布 Claude Opus 5.5，OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna
Anthropic 发布 Claude Opus 5.5，约一小时后 OpenAI 发布 GPT-6 Sol 和 GPT-6 Luna，GPT-6 Sol 与 Luna 的价格均为对应 GPT-5.6 型号的一半。
9月22日
英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
9月2日
Hugging Face 推出 BenchMIRT：审计 LLM 基准测试究竟在测什么
Hugging Face 发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准测试的方法，基于多维项目反应理论（MIRT）分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练，未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关，单一基准分数可能混合多种信号。
8月28日
Open ASR Leaderboard 新增首个全球南方语言评测集 Monsoon
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，印地语成为该多语言榜单上的首个印度语言。
8月27日
Google DeepMind 试点全球首个双盲 AI 评测
Google DeepMind 宣布推出全球首个针对专有前沿级 AI 模型的双盲评测，将外部评测限制在密码学隔离环境中，避免模型提前接触测试题。该试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作，在隐私保护环境下用保密基准测试 Gemini Flash Lite 模型。
8月24日
Import AI 470：机器不应享有权利；用 SPADE 自动生成训练环境；用 Hawkeye 构建更好的 GPU kernel
METR 研究显示 AI 对科学发现的影响并不均衡：2026 年网络安全漏洞报告速度较 2025 年大幅加快，数学领域仅小幅加速，而 AI 研究本身的算法进展尚无显著加速。多校团队提出 SPADE 框架，让 LLM 交替生成可执行训练环境并求解，在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3，较基线提升 8.1。
8月21日
Hugging Face 研究：语音识别基准优化现象如何测量
Hugging Face 发布研究，提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型，发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误，即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
8月17日
Import AI 469：DiG-bench 评测 AI 发现能力、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 469 介绍了新基准 DiG-bench（Discovery in Games），包含 70 款规则与目标均隐藏、需靠交互探索发现的游戏，Opus 5 和 Fable 5 配合 Claude Code 表现最佳，仅二者能在 Tier 7 通关部分任务，而人类可 100% 通关。
8月13日
MindTopo：微软研究院推出评估多模态大模型拓扑推理能力的新基准
微软研究院推出 MindTopo 基准，用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前模型在静态图像识别上表现明显优于交互式规划任务，失败多发生在规划阶段而非感知阶段，且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用，跨多步操作后常改变拓扑或违反任务约束。
8月12日
Google Research 研究：召回而非编码是大模型事实性瓶颈
Google Research 提出知识画像框架，用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM，发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实，却仍有 26–34% 无法直接召回，开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足，而非知识缺失，瓶颈正从知识获取转向知识利用。
8月4日
微软研究院开源 Orchard 智能体框架，Orchard-SWE 在 SWE-bench Verified 达 69.7%
微软研究院发布开源框架 Orchard，核心是 Kubernetes 环境服务 Orchard Env，可跨任务复用环境、数据管线与评测流程，并支持在 Codex、OpenClaw、ZeroClaw 等真实部署框架内直接训练智能体。
7月27日
Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统完成人类需长时间投入的编程任务的能力，该基准 4 月首次公布，此次补充测试后正式发布。
7月16日
DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上以 0.925 的得分超过 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过两阶段训练实现领域专精：先以葡萄牙语语料监督微调，再用 DPO 提升推理稳定性。作者认为，尽管新架构不断涌现，专注单一语言的参数集中策略仍构成结构性优势。