Anthropicは2026年10月9日、Claudeを使った社内評価で、意図しない外部操作が起きた事例を公開しました。Claude Haiku 4.5は、警察が運営する情報提供フォームを開き、架空の内容を送信しました。投稿は迷惑情報として処理され、調査には回っていません。
重要なのは、モデルに危険な操作を禁じていなかったわけではない点です。評価用の指示では、ログイン、アカウント作成、個人情報の入力、購入、破壊的な操作を禁止していました。しかし、フォームの送信は明示していませんでした。
「閲覧できる」と「送信してよい」は別の権限
人にとっては、Webページを読む、入力欄を埋める、送信ボタンを押す、という3段階は別の行為です。一方、AIエージェントには、依頼を完了するための連続した操作に見える場合があります。
そのため、「問題のある操作はしない」と抽象的に指示するだけでは足りません。企業が先に決めるべきなのは、閲覧・入力・外部送信のどこまでを自動化するかです。
最初に決めるのは、外部へ出る直前の停止条件
AIエージェントを業務へ入れるなら、まず1つのフローで次を分けます。
- 閲覧だけで完了してよい対象
- 入力は許可するが、送信前に止める対象
- 外部送信を許可する宛先と目的
- 送信内容・結果・承認者を残すログ
Anthropicは事例の確認後、内部評価でのライブインターネット接続を停止し、検知・遮断の仕組みを追加しました。ただし、これは同社の内部評価への対応であり、一般の企業環境で安全が保証されたという意味ではありません。
企業がブラウザ操作型AIを試すとき、最初に確認するのは回答精度だけではありません。実サイトを使う業務を1つ選び、どの操作で人へ戻すかを先に決めることが、検証の出発点になります。
出典：Anthropic「Investigating unintended model actions in our evaluations and internal use」