The Decoder· Maximilian Schreiner·· 6 時間前
オープンソースベンチマーク CloudOpsBench 公開：AI クラウド運用の最大のボトルネックは推論
New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations
AI による要約
ミシガン大学の Ang Chen 氏率いるチームが、AWS のクラウド運用タスク 45 件を含むオープンソースベンチマーク CloudOpsBench 1.0 を公開した。タスクは経験豊富な DevOps エンジニアが設計した。最高成績の Claude Fable 5.1 でも完了率は 60%、GPT-6 Astra は 53% で、全タスクを完了できるモデルはなかった。
入選の記録
基準 76メディアと個人1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：开源基准评测AI智能体云运维推理瓶颈
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com