本文へ移動
原文
AWS Machine Learning Blog· Samaneh Aminikhanghahi·· 4 日前

AWS、AIエージェントのクローズドループ評価を可能にするUAEFをオープンソース化

UAEF: A framework-agnostic system for closed-loop evaluation of AI agents

AI による要約

AWSはオープンソースフレームワークUAEFを公開した。アダプターでLangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore、Langfuseの実行トレースをAgentTraceに統一し、7次元36項目の組み込み指標で採点する。

入選の記録

入選二回の合計 124 ≥ 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:介绍AI Agent闭环评测框架UAEF
推薦理由
フレームワークをまたいだ統一評価のためのアダプターと指標の設計が示されており、異なるバージョンのエージェントの性能をどう比較するかの判断材料になる。

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:AWS Machine Learning Blog · aws.amazon.com