Hugging Face Blog·· 10 日前
英国AISI、EvalEval基盤で評価結果を再現可能にする方法
How UK AISI and EvalEval Are Making Benchmark Results Reproducible
AI による要約
英国AI Security Institute（AISI）は評価の科学的再現性を高めるため、EvalEvalのEvery Eval EverスキーマとEvaluation Cardsで結果を公開共有している。
入選の記録
基準 60公式・一次情報1 回目 342 回目 34
入選せず二回の合計 68 < 基準の 2 倍 120
- 情報源の区分
- 公式・一次情報、この区分の基準は 60 点
- 予備審査
- 通過：AI评测基准与可复现基础设施
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Hugging Face Blog · huggingface.co