Hugging Face Blog·· 6 小时前
StateBench：测试语言模型如何在长文档中追踪状态变化
StateBench: Testing how language models track state changes over long documents
AI 导读
Hugging Face 推出 StateBench，用于评测语言模型在长文档中追踪实体状态变化的能力，按 R-trivial、Aperiodic、Soluble、General finite 四个难度等级构建。
入选记录
门槛 60官方一手第一次 38第二次 42
未入选两次之和 80 < 门槛的两倍 120
- 信源等级
- 官方一手，这一级的门槛是 60 分
- 预筛
- 通过：语言模型状态追踪基准与架构评测
评分由模型按同一份标准独立打两次，满分 100；两次之和达到门槛的两倍才入选。门槛按信源等级设定。
来源：Hugging Face Blog · huggingface.co