Simon Willison·· 11 天前
Qwen3.8 27B 用英文单词做加法的基准测试
Qwen3.8 27B addition in words
AI 导读
一项基准测试用 5,070 个禁用推理的案例，检验本地 Qwen3.8-27B-Q4_K_M.gguf 模型能否用英文单词完成正整数加法并输出精确结果，其数值准确率为 23.57%，格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%；开启中等推理后，169 次配对测试中答对 167 次。
入选记录
门槛 76媒体与个人第一次 22第二次 22
未入选两次之和 44 < 门槛的两倍 152
- 信源等级
- 媒体与个人，这一级的门槛是 76 分
- 预筛
- 通过：测试Qwen3.8模型加法推理能力
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Simon Willison · simonwillison.net