Hugging Face Blog·· 2 時間前
同一モデルでハーネスを比較：CUGA、Hermes、Deep AgentsをAppWorldで検証
Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?
AI による要約
IBMのチームは、同一のオープンウェイトモデルGLM-5.3-flashを使い、AppWorldの90タスクでCUGA、Hermes、Deep Agentsを比較した。タスク通過率はそれぞれ81.1%、46.7%、30.0%、シナリオ全体の通過率は66.7%、26.7%、6.7%だった。
入選の記録
基準 60公式・一次情報1 回目 622 回目 58
入選二回の合計 120 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：对比AI Agent框架并评测任务完成率
- 推薦理由
- 同じモデルでもハーネスを変えるだけでタスク完了率が30%から81%まで変わる。ハーネスの選択がAgentの実性能を左右することを示す事例だ。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co