XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Elith 与 NVIDIA 发布 Nemotron-Personas-Finance-Japan,这是开源人设数据集 Nemotron-Personas-Japan 的金融领域扩展,据称是首个百万记录级、将日本官方统计与家庭金融及金融素养数据配对的开源人设数据集。
Hugging Face 提出 HOPE(Higher-Order Pruning of Experts),一种考虑专家两两交互的二阶 MoE 专家剪枝方法。在 50% 剪枝率下,HOPE 取得所有方法中最佳平均排名,在智能体编程任务上比次优剪枝方法最高提升 +6.1%。
Anthropic Institute 研究员 Andy Hall 在 Substack 复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否像人类审核者一样发现智能体违规。
AI2 在 Hugging Face 发布 ToyBlocks,一个围绕机械臂与桌面方块搭建的开放仿真框架,属于其 FoundationWorlds 系列的第一个环境。
研究团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成神经网络的原始权重,无需逐步数学优化训练。Astra 仅凭权重就能识别网络学会的四款游戏和训练语言,并为三款简单游戏从零写出权重,其中 Breakout 平均得分 517 分,对比标准训练基线的 25 分。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
IBM 在 Hugging Face 博客介绍 Palette,用 LoRA 微调一个 20B 开源权重模型,把做幻灯片拆成设计师写 JSON 简报、编码器写 pptxgenjs 代码两个角色,训练数据约 1000 份幻灯片、近 1 万页,遵循 IBM Design Language。
Hugging Face 推出 StateBench,用于评测语言模型在长文档中追踪实体状态变化的能力,按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型判断科研想法新颖性的可靠性,并同步开源基准、数据和代码。研究基于 ICLR 2026 评审意见构建了 154 条高新颖性与 145 条低新颖性的人类想法池,另配 154 条 LLM 生成想法。
微软与 Hugging Face 联合发布 ThinkingBox-Training,把 ThinkingBox 对数据库终态的确定性校验直接当作 RL 奖励,用于训练有状态业务智能体。
Hugging Face 发布 FairStress 基准,用于测量 LLM 在招聘、贷款、医疗等决策中的群体公平性,覆盖 Olmo、Llama、Qwen、Gemma、Claude 和 GPT 系列模型。
ALTK-Evolve 用 GPT-4.1 从智能体自身的任务轨迹中提炼行为准则,追加到系统提示词后,在 τ²-bench 零售域达到 67.5% Pass^4,超过榜单上所有零售条目和微调模型 RAFT-30B-A3B 的 61.4%。
NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1,约 2.8 万亿 token,覆盖 22 种印度语言,其中 2,601.0 亿为本地文字 token、224.6 亿为罗马化 token,计数使用 Gemma-4 tokenizer。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其降尺度模型 HiROv2 可同时预测多个高分辨率气象场,并提升极端降雨、风速和气压事件的还原能力。
英伟达团队从 Nemotron 3 出发,用 SFT、RL 和反馈驱动的推理流程,让模型在 IOI 2026 和 IMO 2026 都达到金牌水平。IOI 2026 中 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线和人类最高分 498.27;IMO 2026 系统得 30/42,高于 29 的官方金牌线,其中六题有四题满分。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再对终端后端状态和副作用做可执行检查,而非只看回答文本或工具调用是否合法。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评测开源 TTS 模型,把评测周期从数周投票缩短到数小时。榜单以 Qwen3 ASR 计算 WER/CER,在 H200 GPU 上测 RTFx 与 TTFA,并用 WavLM 嵌入算说话人相似度 SIM,支持多语言与声音克隆对比。
Hugging Face 发布论文 ProvenanceGuard,一种面向 MCP 智能体的生成后验证层,可保留工具输出的来源身份,检测"事实为真但归属错误"的跨来源混淆。在医疗智能体的 281 条真实 trace 上,专家判定应拦截的 139 条声明中它拦下 138 条,来源识别准确率约 86%,并在与四种核查器的对比中得分最高。
英国 AI Security Institute(AISI)正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果,以提升评测科学的可复现性。
IBM 研究团队在 ALTK-Evolve 中新增一致性指南(consistency guidelines),基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。
Voice Arena 与 Hugging Face 合作,在 Open ASR Leaderboard 上新增 Monsoon en-IN 和 Monsoon hi-IN 两套评测集,印地语成为该多语言榜单上的首个印度语言。
Multiverse Computing 发布论文提出 Quantization-Aware Healing(QAH),在 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后,直接从压缩前的原始模型蒸馏,而非从恢复出的 bfloat16 checkpoint 蒸馏。
Hugging Face 发布研究,提出共识分歧探针、掩蔽实体检索和拼写切换三项测试来量化语音识别中的基准优化现象。研究评测 11 个开源 ASR 模型,发现部分高分模型会复现 VoxPopuli 和 LibriSpeech 参考转写中的错误,即使音频与之矛盾、相关词被静音或两种写法在音频中同样成立。
Hugging Face 在 7 月 15 日至 8 月 2 日举办 ICML 2026 开放复现挑战,1221 名社区成员用 Claude Code、Codex、Cursor 等编码智能体逐条复现论文,共发布 6816 份 Trackio 日志,覆盖 2226 篇论文,约占大会论文的三分之一。
Multiverse Computing 发布论文《Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss》。
Hume 发布 Real World VoiceEQ 语音评测基准,覆盖 40 多个专有与开源语音模型、15 个以上评测维度和 60 多项指标,涵盖 ASR、TTS、S2S 与语音理解。
Hugging Face 发布 ScarfBench(Self-Contained Application Refactoring Benchmark),用于评估 AI 智能体在 Spring、Jakarta EE、Quarkus 之间跨框架迁移企业级 Java 应用的能力。
Hugging Face 提出 DiScoFormer(Density and Score Transformer),给定一组数据点即可在单次前向传播中同时估计分布的密度与 score,无需针对新分布重新训练。