本文へ移動
原文
Hugging Face Blog·· 16 日前

IBM、一貫性ガイドでGPT-4.1エージェントの一貫性格差を24.4から12.0ポイントへ縮小

Your Agent Aced the Task. Will It Do It Again?

AI による要約

IBMの研究チームはALTK-Evolveに一貫性ガイドを追加した。Consistency Analyzerを使い、エージェントのトレース内で判断が反転しやすい箇所を診断する。

入選の記録

入選二回の合計 129 ≥ 基準の 2 倍 120

情報源の区分
公式・一次情報、この区分の基準は 60 点
予備審査
通過:AI Agent一致性与评测方法技术文章
推薦理由
Pass^kと一貫性格差の定量結果に加え診断と改善の方法を示し、エージェントの評価基準を見直す材料になる。

採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。

情報源:Hugging Face Blog · huggingface.co