本文へ移動

研究:コーディングエージェントのフレームワークは合格率にほとんど影響せず

まずはこの出来事を

報道の要約

Liu 和 Han 的研究用 Claude Code、OpenCode、mini-SWE-agent 三个框架跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 等模型,发现换框架带来的成绩变化与同一配置重跑一次的波动相当,在 447 个任务上最重和最轻的框架差距不到 2 分。

The Decoder より

報道の時系列

報道をたどり、出来事のさまざまな面を知る。

10月24日
  1. The Decoder
    複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明

    Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。

この出来事の注目度の推移

連続した観測データがまだ足りないため、推移は描いていません。