The Decoder· Manuel Uth·· 7 時間前
SemiAnalysisがGDPxベンチマークを公開、AIエージェントの最高得点は12%未満
No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark
AI による要約
SemiAnalysisがGDPxベンチマークを公開した。AIエージェントを模擬的な知識労働環境に置くもので、チップ設計、生物、クオンツ取引、サイバーセキュリティ、法律など11分野にわたる206タスクを課すが、総合スコアが12%を超えたモデルはない。
入選の記録
基準 76メディアと個人1 回目 622 回目 58
入選せず二回の合計 120 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：AI Agent基准测试与评测结果
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com