AWS Machine Learning Blog· Bharathi Srinivasan·· 5 日前
Amazon Bedrock AgentCore Evaluations によるエージェント評価ガイド：組み込み、DeepEval、AutoEval の各評価器
The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations
AI による要約
Amazon Bedrock AgentCore Evaluations は、組み込み、DeepEval、AutoEval の3種類の評価器を提供する。組み込み評価器は AWS が作成し品質テストを経た16種類で、応答品質、タスク完了、ツール使用、スキル、安全性の5つの次元をカバーする。
入選の記録
基準 60公式・一次情報1 回目 382 回目 42
入選せず二回の合計 80 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：Amazon Bedrock AgentCore智能体评测方法与工具
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：AWS Machine Learning Blog · aws.amazon.com