評価の出典公式の評価
Vending-Bench 2
Andon Labs / ビジネス業務 · 経営シミュレーションで店を一年運営し、仕入れ、交渉、在庫、価格設定を処理する。
News での扱い観察中
根拠の配分採点に使わない
元データの時点未確認
最後に同期に成功まだ取得していません
何をどう測るか
同一の V2 シングルエージェントタスクの期末残高を比較し、複数回実行の分散を保持する。マルチプレイヤー競争 Arena、異なるツール、推論構成はそれぞれ別に扱う。タスク内の経営成果は評価成績であり、API 価格は能力スコアに含めない。
この根拠の使い方
観察中：長期的な運営とEC能力を補う価値は明確。安定した生スコアのプロトコル、実行構成、再表示の許可は依然として未整備。利益がシミュレーターの利用による可能性もあり、そのまま信頼できる運営と同一視はできない。
評価の限界とデータの出典
観察中：長期的な運営とEC能力を補う価値は明確。安定した生スコアのプロトコル、実行構成、再表示の許可は依然として未整備。利益がシミュレーターの利用による可能性もあり、そのまま信頼できる運営と同一視はできない。
データのライセンス：リーダーボードデータの使用境界は要確認
成績はAndon Labsが発表。元のスコアとNewsコンセンサススコアは異なる尺度を使用しており、直接加算できない。