評価の出典公式の評価
MathArena · BrokenArXiv
MathArena / ETH Zurich / 推論 · 数学的証明の誤りを発見・修正する
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
個別の試験用紙とバージョンごとに素点を読み取り、問題バンクをまたいでフィッティングした Expected performance の総合スコアは使用しない。
この根拠の使い方
観察中:ランキングの成績の再表示境界がまだ明確でなく、当面は正式スコアに収集しない。
評価の限界とデータの出典
観察中:ランキングの成績の再表示境界がまだ明確でなく、当面は正式スコアに収集しない。
データのライセンス:コードは MIT。データには CC BY-NC-SA 4.0 の境界があり、問題集とランキング成績を区別する必要がある。
スコアは MathArena / ETH Zurich が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。