跳到正文

#评测/基准

今日 0 条

11月14日

星期六

11月8日

星期日

11月7日

星期六

11月6日

星期五

11月5日

星期四

11月4日

星期三

11月3日

星期二

10月28日

星期三

10月24日

星期六

10月21日

星期三

10月18日

星期日

10月15日

星期四

10月12日

星期一

10月6日

星期二
  1. Qwen3.8 27B 用英文单词做加法的基准测试

    一项基准测试用 5,070 个禁用推理的案例,检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否用英文单词完成正整数加法并输出精确结果,其数值准确率为 23.57%,格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%;开启中等推理后,169 次配对测试中答对 167 次。

10月3日

星期六

10月2日

星期五

9月30日

星期三

9月23日

星期三

9月22日

星期二

9月2日

星期三
  1. Hugging Face 推出 BenchMIRT:审计 LLM 基准测试究竟在测什么

    Hugging Face 发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准测试的方法,基于多维项目反应理论(MIRT)分离出安全与通用推理两个主导维度。该方法在 100 个 LLM、16 个基准、超 34K 道题上训练,未被告知各基准测什么却稳定复现这两个维度。分析显示 BBQ、WMDP 等安全基准的得分更多与通用推理相关,单一基准分数可能混合多种信号。

8月28日

星期五

8月24日

星期一
  1. Import AI 470:机器不应享有权利;用 SPADE 自动生成训练环境;用 Hawkeye 构建更好的 GPU kernel

    METR 研究显示 AI 对科学发现的影响并不均衡:2026 年网络安全漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,而 AI 研究本身的算法进展尚无显著加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3,较基线提升 8.1。

8月21日

星期五

8月17日

星期一

8月13日

星期四
  1. MindTopo:微软研究院推出评估多模态大模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大模型在连通性、封闭、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前模型在静态图像识别上表现明显优于交互式规划任务,失败多发生在规划阶段而非感知阶段,且整体远低于人类水平。图像与视频生成仅在单帧保留结构关系时有用,跨多步操作后常改变拓扑或违反任务约束。

8月12日

星期三
  1. Google Research 研究:召回而非编码是大模型事实性瓶颈

    Google Research 提出知识画像框架,用 2,150 条 Wikipedia 事实的 WikiProfile 基准评测 13 个 LLM,发现 Gemini-3-Pro 和 GPT-5 已编码 95–98% 的事实,却仍有 26–34% 无法直接召回,开启思考后仍有 11–12% 失败。研究认为前沿模型的事实错误更多源于知识可及性不足,而非知识缺失,瓶颈正从知识获取转向知识利用。

7月27日

星期一

7月15日

星期三

7月1日

星期三

4月14日

星期二
  1. Google 推出 Vantage:用生成式 AI 评估未来技能

    Google 发布研究实验 Vantage,通过生成式 AI 构建模拟对话环境,评估高中与大学生的问题解决、协作等未来技能,现已在 Google Labs 开放英文注册。该系统由 Executive LLM 动态引导对话、AI Evaluator 依据评分量表打分,与纽约大学合作对 188 名 18-25 岁美国测试者的研究显示,AI 评分与人类专家评分的一致性接近两位人类专家之间的一致性。

4月9日

星期四

4月3日

星期五

4月1日

星期三

3月17日

星期二