XYBench:测试 AI 助手能否识别用户问题背后的错误假设
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Hugging Face 发布 XYBench,一个包含 8K+ 问题的基准,用于测试 AI 助手能否识别用户提问中的错误假设(XY 问题)并引导至真实目标,该基准获 EMNLP 2026 最佳资源论文奖。
Vals AI 的 CyberOffense 基准让 AI 智能体在隔离的 Kali Linux 机器上独立攻击模拟企业网络,OpenAI 受限网络项目 Daybreak 中的 GPT-6 Sol 取得 80.8% 的目标完成率,开源权重模型 Deepseek V4.1 Flash 1017 以 72.8% 紧随其后,单次运行成本约 3 美元而非约 22 美元。
一项论文基准让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol。
Collinear AI 发布 CWE-bench v2,公开 100 个安全漏洞修复任务,覆盖 91 种 CWE,评分完全程序化、结果可复现。
Vals.ai 的研究用 −1 到 +1 的量表衡量模型与中国官方立场的接近程度,发现中国模型的亲政府倾向整体低于预期,且各模型之间差异很大。提示词语言影响明显,简体中文提问比英文、俄文或西班牙文更容易得到亲政府回答,中美模型都有此现象,中国模型更突出。多数中国模型很少拒答,而是直接采用官方立场;改用是或否的回答格式、加入智能体框架或联网搜索能力后,亲政府得分下降。
Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型,发现换框架带来的成绩变化与同一配置重跑一次的波动相当,在 447 个任务上最重和最轻的框架差距不到 2 分。
一项新基准测试让多个商用 AI 智能体在无人类提示下求解理论物理研究问题,运行在 OpenAI Codex 环境中的 GPT-6-Astra 解出 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
Aleph Alpha 开发基准测试,用 967 个敏感议题测试阿里千问(Qwen)、DeepSeek 和月之暗面(Kimi)的模型,其自有评分系统仅将 17% 至 41% 的回答评为平衡,其余为复述官方立场、回避或拒答。