評価の出典公式の評価
Harvey Legal Agent Benchmark
Vals AI / Harvey / ビジネス業務 · 法律資料を処理し、Word、Excel、スライドなどレビュー可能なファイルを納品する。
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
Harveyの非公開テストセット、六つのファイルツール、docx・xlsx・pptxスキルを固定し、インターネットを無効化する。二人の審判によるタスク全体の通過率平均を採用し、単一条件の通過率で代替しない。Fable 5のOpus 4.8フォールバックを含む11.25%は単一モデルに帰属できない。公式は別途フォールバックなしの10.42%を記載しており、統一構成ポリシーに基づき審査する必要がある。
この根拠の使い方
観察中：完全な法律業務の証拠を優先的に補完する。安定した成績エクスポート、設定、再表示の境界は整備待ちで、現時点では出典を収録するのみで、自動収集やスコアリングは行わない。
評価の限界とデータの出典
モデルのフォールバックと審判の条件が比較可能性に影響する。約90%の個別条件通過率は作業全体の完了を意味しない。同じ Vals に属する複数の専門項目を複数の独立機関と見なすことはできず、ランキング数に応じて総合ウェイトを増やすこともできない。
データのライセンス：公式公開成績は閲覧可能。Harveyのオープン問題集とコードライセンスはValsの非公開テスト成績を自動的にカバーせず、リーダーボードデータの再表示境界は未確認。
スコアは Vals AI / Harvey が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。