Hugging Face Blog·· 12 日前
MicrosoftとHugging Face、ThinkingBoxを公開:データベースの最終状態でAIエージェントを採点
The Agent Said It Was Done. The Database Disagreed.
AI による要約
Microsoft Copilot StudioチームとHugging FaceがThinkingBoxを共同公開した。隔離されたMCPツールセッションでエージェントを実行し、回答テキストやツール呼び出しの正当性ではなく、バックエンドの最終状態と副作用を実行可能なチェックで評価する。
入選の記録
基準 60公式・一次情報1 回目 712 回目 62
入選二回の合計 133 ≥ 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:评测AI Agent数据库状态与一致性基准
- 推薦理由
- MicrosoftとHugging Faceが共同で公開したエージェント評価ベンチマーク。回答テキストではなくデータベースの最終状態で成否を判定し、20回繰り返した場合のコスト比較も示す。
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co