Simon Willison·· 2 日前
Anthropicレッドチーム:GLM-5.3が試行の4%で完全な制御フロー乗っ取りに成功
Quoting Anthropic Frontier Red Team
AI による要約
Anthropic Frontier Red Teamは内部のBinary Exploitationベンチマークの無作為に選んだ100課題で複数モデルを評価した。完全な制御フロー乗っ取りの成功率はGLM-5.3が4%、Claude Mythos Previewが6%だった。Claude Opus 4.6やGLM-5.2などの従来モデルはこれらの課題に成功しておらず、意味のある能力の閾値を超えたと報告した。
入選の記録
基準 76メディアと個人1 回目 622 回目 68
入選せず二回の合計 130 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過:引用Anthropic红队评测AI模型网络攻击能力
- 同じ出来事
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源:Simon Willison · simonwillison.net