AWS Machine Learning Blog· Bharathi Srinivasan·· 5 天前
Amazon Bedrock AgentCore Evaluations 智能体评估指南：内置、DeepEval 与 AutoEval 评估器
The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations
AI 导读
Amazon Bedrock AgentCore Evaluations 提供内置、DeepEval 和 AutoEval 三类评估器，内置评估器由 AWS 编写并经过质量测试，共 16 个，覆盖响应质量、任务完成、工具使用、技能和安全五个维度。
入选记录
门槛 60官方一手第一次 38第二次 42
未入选两次之和 80 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：Amazon Bedrock AgentCore智能体评测方法与工具
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：AWS Machine Learning Blog · aws.amazon.com