評価の出典公式の評価
FinanceBenchmark
FinanceBenchmark / ビジネス業務 · 金融プライシング、資本計算、リスク管理のタスクを完遂し、数値とコード実行結果で検証する。
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
問題集v2、v3と実行環境のバージョンは分ける。各問3回試行の条件を保持。公式サイトのTasks passedは少なくとも1回の成功を指すが、同時にPass@1とも呼ばれ、単回の平均正答率と混用できない。Finance Indexも別の集約指標。
この根拠の使い方
観察中：確定した答えとコード検証による金融の証拠を補完できる。指標の口径はまだ照合が必要で、公式Sol結果のJSONダウンロードは今回404を返したため、現時点では出典を収録するのみで、自動収集やスコアリングは行わない。
評価の限界とデータの出典
3 回中少なくとも 1 回成功することは単回成功率と同じではない。区間は正しい指標に対応させる必要があり、ローリングするモデル別名もバージョンを検証する必要がある。問題集とダウンロードボタンが公開されていることは、元の成績が取得可能であることを意味しない。
データのライセンス：公式リポジトリのコードはMIT、ウェブサイトはFinanceBenchmarkの引用を要求。リアルタイム成績の完全なエクスポートの使用境界は未確認であり、コードライセンスをリーダーボードデータライセンスの代替とはしない。
スコアは FinanceBenchmark が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。