Hugging Face Blog·· 6 時間前
StateBench:言語モデルが長文書内で状態変化を追跡する能力を測る
StateBench: Testing how language models track state changes over long documents
AI による要約
Hugging Faceは、言語モデルが長文書内でエンティティの状態変化を追跡する能力を評価するベンチマーク「StateBench」を公開した。難易度はR-trivial、Aperiodic、Soluble、General finiteの4段階で構成される。
入選の記録
基準 60公式・一次情報1 回目 382 回目 42
入選せず二回の合計 80 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過:语言模型状态追踪基准与架构评测
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Hugging Face Blog · huggingface.co