誤解するな——LLMは推論しない

元Google DeepMindの研究者は、LLMはトークンを一つずつ予測して答えを生成しており、その連鎖的推論も同じnext-tokenプロセスから生じるもので、真に独立した推論機構ではないと指摘する。こうしたモデルには検証可能な持続的認知状態や知識と推論の分離が欠けており、連鎖的推論はしばしば事後の作り話だと述べる。AlphaGoのゲーム木探索アーキテクチャを参考に、機械推論に明示的な認知状態を導入すべきだと主張する。