評価の出典公式の評価
SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / ビジネス業務 · 財務モデリング、ワークブックの修正、データ可視化を含む表計算業務一式を完遂する。
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
V2の321タスクと統一SWE-agent条件を固定する。独立したオフィス製品や他のscaffoldの成績を基盤モデルに帰属させない。表の可視化の正確性は広範な美的感覚と等しくない。
この根拠の使い方
観察中：安定したJSONと行ごとの日付はあるが、現在の統一条件下での基盤モデルの網羅が不十分。当期モデルの実測を待ってからスコアを接続する。
評価の限界とデータの出典
観察中：安定したJSONと行ごとの日付はあるが、現在の統一条件下での基盤モデルの網羅が不十分。当期モデルの実測を待ってからスコアを接続する。
データのライセンス：公式ウェブサイトのフッターでMITを宣言。データセットとコードの入口は公開。
スコアは SpreadsheetBench / Renmin University / AfterQuery が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。