The Decoder· Manuel Uth·· 8 日前
新研究：AI監査役はエージェントの違反の多くを捉えるが、誤検知がレビュアーを圧倒
AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds
AI による要約
Anthropic Instituteの研究者Andy Hall氏がSubstackでMETRの研究を再現・拡張し、GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8、Gemini 3.8 Flashが人間のレビュアーと同様にエージェントの違反を発見できるかを検証した。
入選の記録
基準 76メディアと個人1 回目 582 回目 58
入選せず二回の合計 116 < 基準の 2 倍 152
- 情報源の区分
- メディアと個人、この区分の基準は 76 点
- 予備審査
- 通過：研究AI审计模型检测Agent异常行为
採点はモデルが同じ基準で独立に二回行い、満点は 100。二回の合計が基準の 2 倍に届いたものだけが入選します。基準は情報源の区分ごとに決めています。
情報源：The Decoder · the-decoder.com