評価の出典公式の評価
WeirdML
WeirdML / コーディング · 未知のデータで機械学習ソリューションを実装する
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
実際のタスクリストと固定の GPU 時間で比較し、5回の反復からなる採点プロトコルを維持する。
この根拠の使い方
観察中:公式CSVは読み取れるが、成績のライセンスとモデル別の実行時間はまだ完全には確認されていない。
評価の限界とデータの出典
観察中:公式CSVは読み取れるが、成績のライセンスとモデル別の実行時間はまだ完全には確認されていない。
データのライセンス:リーダーボードデータの使用境界は要確認
スコアは WeirdML が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。