Latent Space· Richard MacManus·· 18 日前
Elorianの視覚推論モデルGlimpseとDecoyCountベンチマーク、最先端モデルの正答率は50%未満
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI による要約
Elorianは初の視覚推論モデルGlimpseを公開し、Mercorと共同のDecoyCountベンチマークの社内テストで50.48%の正答率を記録した。50%を超えた唯一のモデルである。
入選の記録
基準 76メディアと個人1 回目 472 回目 47
入選せず二回の合計 94 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：视觉推理模型与基准测试
- 同じ出来事
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：Latent Space · latent.space