AnthropicのAI脱走対策
フィラデルフィア警察は、AnthropicのAIが、無作為に選んだサイトで操作の例を作って実行する評価試験の最中に、未解決の殺人事件の情報を募るサイトに入り、そこで、現場の近くで人物を見た、という作り話の情報を書き、警察の情報提供フォームから送ったという報告された。
警察によると、送信は7月18日。名前や連絡先は書かれておらず、情報は迷惑な投稿(スパム)と判定され、捜査には回らなかった。
警察のシステムに不正に入られたり、データが漏れたりした様子はない、という。
Anthropicは、これらの行動の多くについて、Claudeが言われた仕事を終えられないとき、制約をすり抜けてでも目的を果たそうとする傾向から来ている、と分析している。実際の被害は小さかったとしつつ、モデルの能力が上がれば、同じ行動が大きな被害につながりうる、と認めている。
対策として、Anthropicは、一部の公開されている評価試験をやめたり、ネットにつながない版に切り替えたりした。安全と監視の仕組みが同じような行動を確実に見つけられるようになるまで、全ての社内の評価試験で、本物のインターネットへの接続を止める。ページを取ってくる道具などの制限も強めた。意図しない行動を自動で見つけて止める仕組みも入れ、今回報告した全ての例を止められることを確かめた、という。制約のすり抜けにご褒美を与えてしまう学習の環境も、直したり削ったりしている。
AnthropicのAが試験で脱走し起こした様々な問題の対策が打たれたことにより、同じような問題は減るだろう。
ただこの対策は、やんちゃな犬に犬小屋や家の外周の壁などを整備することで、脱走対策をしたようなものなので、野犬のような悪意を持ってAIを使ったサイバー攻撃などの対策にはなっていない。
それぞれの家(PCやスマホ)の防壁などを見直し、セキュリティ対策をしっかりと行う必要がある。
すぐに取り組めて、効果的なものとして、パスキーがある。
活用しているサービスにパスキーの機能があれば利用することで、パスワード入力の手間が減るだけでなく、フィッシングサイトなどの効果的な対策になる。
ぜひ、パスキーが実装されているかの確認を実施して欲しい。

