The Decoder· Jonathan Kemper·· 8 日前
アリババなどのチームがCo-Design Benchを公開、コーディングエージェントはタスクの約4分の1しか完全にこなせず
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
AI による要約
アリババとアジアの複数大学の研究者が、実際のユーザーの変更リクエストからコーディングエージェント向けベンチマーク「Co-Design Bench」を構築した。エージェントは画像・音声・動画・文書などを入力として、既存のWebアプリを改修することが求められる。
入選の記録
基準 76メディアと個人1 回目 722 回目 62
入選せず二回の合計 134 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：AI编码智能体基准测试与表现分析
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com