The Decoder· Matthias Bastian·· 6 小时前
斯坦福研究：44% 的 LLM 结论已失效，平均寿命 15.7 个月
Rapid LLM development is outrunning the research meant to explain it, study finds
AI 导读
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型，复测 50 条被广泛引用的 LLM 结论，发现 44% 已经失效，另有 34% 明显减弱，仅 16% 仍成立、6% 反而增强。
入选记录
门槛 76媒体与个人第一次 58第二次 61
未入选两次之和 119 < 门槛的两倍 152
- 信源等级
- 媒体与个人，这一级的门槛是 76 分
- 预筛
- 通过：研究LLM能力结论时效性，实质AI评测
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：The Decoder · the-decoder.com