The Decoder· Matthias Bastian·· 6 時間前
スタンフォード大の研究：LLMの結論の44%が失効、平均寿命は15.7カ月
Rapid LLM development is outrunning the research meant to explain it, study finds
AI による要約
スタンフォード大の研究者Owen Queen氏とJames Zou氏は、2024年7月から2026年9月までに8社が公開した20モデルを使い、広く引用されてきたLLMに関する50の結論を再検証した。その結果、44%が失効し、さらに34%が明らかに弱まっていた。依然として成立するのは16%にとどまり、6%はむしろ強まっていた。
入選の記録
基準 76メディアと個人1 回目 582 回目 61
入選せず二回の合計 119 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：研究LLM能力结论时效性，实质AI评测
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com