The Decoder· Jonathan Kemper·· 8 時間前
新ベンチマークTaste-Bench、AIエージェントの長期的な意思決定力の不足を示す
AI agents have bad taste in long-term decisions and a new benchmark proves it
AI による要約
研究者らは、長期的なタスクにおける取捨選択の判断を検証する502問の意思決定分岐問題からなるTaste-Benchを提案した。最高性能のGPT-5.6 Solでも正答率は59.7%にとどまり、他のモデルは大きく下回った。
入選の記録
基準 76メディアと個人1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：AI Agent长期决策评测基准
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com