Hugging Face Blog·· 15 天前
IBM 研究提出一致性指南，将 GPT-4.1 智能体一致性差距从 24.4 点降至 12.0 点
Your Agent Aced the Task. Will It Do It Again?
AI 导读
IBM 研究团队在 ALTK-Evolve 中新增一致性指南（consistency guidelines），基于 Consistency Analyzer 诊断智能体轨迹中易翻转的决策点。
入选记录
门槛 60官方一手第一次 58第二次 71
入选两次之和 129 ≥ 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：AI Agent一致性与评测方法技术文章
- 推荐理由
- 原文给出 Pass^k 与一致性差距的量化结果，并说明诊断与改进方法，读者可据此重新审视自家智能体的评测口径。
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co