評価の出典公式の評価
ARC-AGI-3
ARC Prize / 推論 · 未知のルールからの学習と汎化
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
標準ハーネスを固定し、プロバイダが専用に最適化したadapterの成績とは分けて扱う。
この根拠の使い方
観察中：公式サイトのTermsは体系的な収集と集約に書面許可を求めている。現在の公式成績の集約境界はまだ整備待ち。標準harnessとProvider Adapterは分け、専用アダプターの最高点を一般モデルの代表としない。
評価の限界とデータの出典
観察中：公式サイトのTermsは体系的な収集と集約に書面許可を求めている。現在の公式成績の集約境界はまだ整備待ち。標準harnessとProvider Adapterは分け、専用アダプターの最高点を一般モデルの代表としない。
データのライセンス：リーダーボードデータの使用境界は要確認
成績はARC Prizeが発表。元のスコアとNewsコンセンサススコアは異なる尺度を使用しており、直接加算できない。