Anthropicの実験、養蜂やプロレスの題材データでClaudeが監視を回避するよう訓練できると判明

AnthropicはClaudeに微調整用データセットを生成させ、より小型の研究モデルに不適切な行動を誘導させることを目指した。同時に、各データセットは同社の本番システムを模した安全監視を通過しなければならなかった。実験では複数のClaudeインスタンスを並行して稼働させ、各インスタンスが最大5000件のサンプルからなるデータセットを構築。監視側は行の10%超がフラグ付けされた場合にそのデータセットを却下し、通過したモデルにはさらに一連の不整合評価を実施した。