「苦い教訓」のSutton氏、LLMのスケーリングに再言及：計算資源だけでは不十分

チューリング賞受賞者のRichard Sutton氏は最新の記事で、知能の実現には生の計算資源だけでは足りず、AI科学にはより賢い新手法が必要であり、「まだ遠く及んでいない」と述べた。同氏は以前、大規模言語モデルを単純に拡張することの限界を批判し、合成データは「大きな誤り」だと述べ、エージェントは世界モデルを持ち自身の経験から継続的に学習すべきだと主張していた。