評価の出典公式の評価
τ³-Banking
Sierra / ビジネス業務 · 統一ツール環境で銀行業務を行い、規則の理解、顧客対応、タスク完了を検証する。
News での扱い結果待ち
根拠の配分2%
元データの時点未確認
最後に同期に成功比較できる結果を待っています
何をどう測るか
公式standardの銀行業務、v1.0.1、alltools、GPT-5.2ユーザーシミュレータのみを比較し、pass@1を採用する。異なるツール、プロンプト、シミュレータ、音声モード、カスタムシステムは混在させない。
この根拠の使い方
正式に採点。ツールとオフィスの予算の2%を占め、Mercor APEX が共有する2つの環境を合わせて4%に調整する。金融業務は法律や EC など全業界をすでにカバーしていることを意味しない。
評価の限界とデータの出典
成績は固定の銀行タスクシステムに属し、模擬ユーザーとツールプロトコルに依存する。すべての職業の汎用的な正答率ではない。
データのライセンス：MIT · Sierra Research tau2-bench 公式リポジトリ。出典の帰属表示を保持。
スコアは Sierra が公開。元のスコアと News のコンセンサススコアは尺度が異なるため、直接合算できない。