Gemini 4 Carbon 登顶 MathArena，成本约为 GPT-6.1 Sol 的 15 倍
Google 的 Gemini 4 Carbon 在 MathArena 数学基准上登顶，把 GPT-6.1 Sol 挤下第一，Claude Fable 5.2 位列第二。
#评测/基准
#评测/基准
今日 0 条11月15日
11月14日
XYBench：测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench，一个包含 8K+ 问题的基准，用于测试 AI 助手能否识别用户提问中的错误假设（XY 问题）并引导至真实目标，该基准获 EMNLP 2026 最佳资源论文奖。
11月13日
实测 Claude Duet 智能体：有点神经质，但意外好用
The Verge 记者 Allison Johnson 用一周时间实测 Anthropic 面向消费者的 AI 智能体 Claude Duet，它目前仍是研究预览版，仅限美国 Pro、Max、Ultra 订阅用户排队使用。
Google 发布 Gemini 4 Hydrogen，发布四周后在基准上超过更大的 Argon
Google 发布面向开发者和日常用户的通用模型 Gemini 4 Hydrogen，在 Artificial Analysis 智能指数默认 high 档得 51 分、xhigh 档 54 分，高于 Gemini 4 Argon 的 50 分。
Google 推出 Gemini 4 Hydrogen，正式替换 3.8 Flash
Google 发布 Gemini 4 Hydrogen，并已在自家产品中替换 Gemini 3.8 Flash，访问限制比此前 Argon、Carbon 的发布更宽松，发布即开放。
从原型到生产：用 Agent DLC 工程化 AI 智能体
AWS 提出 Agent Development Lifecycle（Agent DLC），用一个生命周期、两个循环和统一验收标准来判定智能体的每次变更是否可上线。
11月12日
AWS 开源 UAEF：跨框架闭环评测 AI 智能体
AWS 发布开源框架 UAEF，用适配器把 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的执行轨迹统一为 AgentTrace，再以 7 个维度 36 项内置指标打分。
11月11日
Amazon Bedrock AgentCore Evaluations 智能体评估指南：内置、DeepEval 与 AutoEval 评估器
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三类评估器，内置评估器由 AWS 编写并经过质量测试，共 16 个，覆盖响应质量、任务完成、工具使用、技能和安全五个维度。
NaiveAI 宣称每秒 2100 token，实测编程能力如何
Latent Space 对 NaiveAI 的开源权重模型 Naive-N0.5-Flash 做了实测，该模型基于小米 MiMo-V2.5 继续训练并适配 DeepSeek Sparse Attention，官方宣称峰值约 2100 tokens/s。
11月10日
Anthropic Fable 5.2 在真实自由职业任务基准中完成率升至 41%
Anthropic 的 Fable 5.2 在 Scale Labs 的 RLI 基准上完成了 41.3% 的真实自由职业任务，一年前该基准最高分 Manus 仅为 2.5%。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，重夺 LLM 榜首
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2，在 Artificial Analysis Intelligence Index v5 上以 65 分重回第一，超过 Gemini 4 Carbon 的 60 分和 Opus 5.5 的 59 分。
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，IPO 前重回性能榜首
Anthropic 发布 Claude Fable 5.2 与 Mythos 5.2，两者共享同一模型底座，区别在访问权限：Fable 面向所有用户并拦截网络安全与生物领域的风险任务，Mythos 移除部分限制、仅向通过 Anthropic 网络安全或生命科学验证计划的组织开放。
Handshake AI 深度解析：前沿实验室在买什么样的数据
Handshake 的 AI 训练业务在约一年内从上线做到 10 亿美元年化总收入，Garrett Lord 与团队在 Latent Space 播客中拆解前沿实验室采购的数据类型。
11月8日
阿里等团队发布 Co-Design Bench：编码智能体仅完整完成约四分之一任务
阿里巴巴与多所亚洲高校的研究者用真实用户变更请求构建了编码智能体基准 Co-Design Bench，要求智能体基于图像、音频、视频或文档等输入改造现有 Web 应用。
Thinking Machines 的 Inkling 2 Small 在基准测试中爆粗口 316 次
Vals AI 研究人员读取 Thinking Machines 的 Inkling 2 Small 在 13 个基准、2655 次运行中的思考日志，发现 50 次运行出现 "fuck" 及其变体，共 316 次，其中 241 次来自两次失控运行。
Vals AI 基准显示开源与闭源模型的网络攻击能力差距持续缩小
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络，OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率，开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后，单次运行成本约 3 美元而非约 22 美元。
11月7日
九个 AI 智能体挑战美国国家实验室开放研究问题，无一达到专家标准
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
OpenAI 推出 BioBasicsBench：衡量 AI 智能体处理日常湿实验室科学的能力
OpenAI 推出 BioBasicsBench，一个包含 100 项任务的基准，用于衡量 AI 智能体解读原始实验数据和处理日常湿实验室科学的能力。
11月6日
Open ASR Leaderboard 新增埃及与尼日利亚英语口音私有数据
Hugging Face 的 Open ASR Leaderboard 与 Liva AI 合作，新增埃及和尼日利亚两种英语口音的私有评测数据。埃及口音数据为 1.34 小时、尼日利亚口音为 1.55 小时，均为对话式自发语音，转写含标点、大小写和不流畅词。榜单同时按 Kachru 三圈模型新增口音分组，区分美国与非美国、内圈与外圈及扩展圈口音。
SemiAnalysis 发布 GDPx 基准，无 AI 智能体得分超过 12%
SemiAnalysis 发布 GDPx 基准，把 AI 智能体放进模拟知识工作环境，206 项任务覆盖芯片设计、生物、量化交易、网络安全和法律等 11 个领域，没有模型总分超过 12%。
11月5日
开源基准 CloudOpsBench 发布：推理是 AI 云运维的最大瓶颈
密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，包含 45 个 AWS 云运维任务，由资深 DevOps 工程师设计。表现最好的 Claude Fable 5.1 只完成 60%，GPT-6 Astra 完成 53%，没有模型能完成全部任务。
用决策模型配合 Amazon Bedrock AgentCore Evaluations 做智能体评估
Amazon Bedrock AgentCore Evaluations 可通过代码型评估器接入决策模型，把评估输入转换为决策模型请求、再把概率转回评估结果。示例接入 TypeSafe 的托管决策模型 Jev 和 Strands Agents 团队开源的 2B 参数模型 Strands Decider 2B，二者支持 noul、choice、score 三类问题。
实测 Apple Watch 的 Siri Recaps：有用，也让人有点不安
Apple 在 iOS 27.3 和 watchOS 27.3 首个开发者测试版中推出 Audio Intelligence 功能，Apple Watch Series 12 用户可检测重要声音、识别歌曲、回看过去 15 秒对话（Live Rewind）并生成全天对话摘要（Siri Recaps）。
11月4日
斯坦福研究：44% 的 LLM 结论已失效，平均寿命 15.7 个月
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型，复测 50 条被广泛引用的 LLM 结论，发现 44% 已经失效，另有 34% 明显减弱，仅 16% 仍成立、6% 反而增强。
CWE-bench v2 发布：100 个任务覆盖 91 种 CWE，公开可复现
Collinear AI 发布 CWE-bench v2，公开 100 个安全漏洞修复任务，覆盖 91 种 CWE，评分完全程序化、结果可复现。
StateBench：测试语言模型如何在长文档中追踪状态变化
Hugging Face 推出 StateBench，用于评测语言模型在长文档中追踪实体状态变化的能力，按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
同一模型换 harness：CUGA、Hermes 与 Deep Agents 在 AppWorld 上的对比
IBM 团队用同一开源权重模型 GLM-5.3-flash 在 AppWorld 的 90 个任务上对比 CUGA、Hermes 和 Deep Agents，任务通过率分别为 81.1%、46.7% 和 30.0%，场景全通过率为 66.7%、26.7% 和 6.7%。
11月3日
Legora CTO Jacob Lauritzen 谈如何为律师构建 AI 智能体
Latent Space 访谈 Legora CTO Jacob Lauritzen，讨论为律师构建 AI 智能体所需的能力与经验。
OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力
OpenAI 推出 LifeVal 基准，用于衡量 AI 帮助人们完成日常事务的能力，涵盖寻找托育、管理财务和处理政府文书等场景。
10月30日
微软用合成企业数据评估 Microsoft Copilot 的 AI 置信度
微软构建 Industry Evaluation Data Generation Platform，用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot，全程不使用任何客户数据。
10月29日
Mistral 发布万亿参数模型 Mistral Large 4，编码能力领先开源模型但整体仍落后中国模型
Mistral 在公开预览三周后于 Hugging Face 放出 Mistral Large 4 权重，模型昵称 Le Chonk，总参数约一万亿、每步激活 520 亿，支持文本与图像输入并输出文本和代码。
Gemini 4 Carbon 登顶多项榜单，首批面向网络安全防御者开放
Google DeepMind 发布 Gemini 4 Carbon，距 Argon 仅两周，在 Artificial Analysis Intelligence Index v5 上以 59 分排名第一，并在 HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench 四项评测中领先。
Google DeepMind 发布 Gemini 4 Carbon，距 Argon 仅两周
Google DeepMind 在 Argon 发布两周后推出 Gemini 4 Carbon，该模型在 Artificial Analysis Intelligence Index v5.0 上以 59 分登顶，前代 Argon 为 50 分。
Elorian 视觉推理模型 Glimpse 与 DecoyCount 基准：前沿模型准确率不足 50%
Elorian 发布首个视觉推理模型 Glimpse，并在与 Mercor 合作的 DecoyCount 基准内部测试中取得 50.48% 准确率，是唯一超过 50% 的模型。
10月28日
Artificial Analysis 改版智能指数，开源与闭源模型差距扩大
Artificial Analysis 改版 Intelligence Index，Kimi K3.1 Pro 从第 4 名降至第 9 名，落后于 8 个闭源模型。
Ai2 研究：LLM 能否可靠判断研究想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，测试大语言模型判断科研想法新颖性的可靠性，并同步开源基准、数据和代码。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性与 145 条低新颖性的人类想法池，另配 154 条 LLM 生成想法。
Property Finder 如何修复评估偏差，在 Amazon Bedrock 上选出更优模型
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验，导致任何替代模型在对比中结构性吃亏。团队重新人工标注 356 张 UAE 图像并改用多标签分类，结合 v0 到 v27 的提示词迭代优化，在 Amazon Bedrock 上选出新模型，准确率更高且成本降低 86%。
10月27日
OpenAI 的 Ted Sanders 分享挑选合适 GPT 模型的经验法则
OpenAI 的 Ted Sanders 按模型尺寸、推理投入和多智能体系统等维度对 GPT-6.1 Terra 等模型分类，并给出选型法则：只重质量选 Astra，稍在意价格选 Sol，非常在意价格选 Terra 或 Luna。他表示 GPT-6.1 Terra 在技术沟通上可能优于更大的 Astra，图像处理和计算机使用大致持平但价格低得多，多数其他领域则落后。
10月24日
研究发现复杂框架让编码智能体更贵而非更强
Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型，发现换框架带来的成绩变化与同一配置重跑一次的波动相当，在 447 个任务上最重和最轻的框架差距不到 2 分。
10月21日
OpenAI 称 GPT-6 在 COBOL、Fortran 等遗留编程语言上表现大幅提升
OpenAI 表示已针对 COBOL、Fortran、Visual Basic 等训练代码稀缺的“低资源”语言改进最新模型。