The Decoder· Jonathan Kemper·· 5 時間前
複雑なフレームワークはコーディングエージェントを強くせず高くつくだけ、研究で判明
Fancy harnesses make coding agents more expensive but not better, study finds
AI による要約
Liu と Han の研究は、Claude Code、OpenCode、mini-SWE-agent の3つのフレームワークで Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview などのモデルを実行し、フレームワークを変えたことによる成績の変化は同一設定での再実行時のばらつきと同程度で、447タスクで最も重いフレームワークと最も軽いフレームワークの差は2点未満だったと報告した。
入選の記録
基準 76メディアと個人1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：研究编码Agent框架对成本与效果的影响
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com