CASE / ANTHROPIC 2026.10.09
Claudeがテスト中に、
外部フォームを送信。
企業が決めるのは「何を送ってよいか」
送信先は、警察が運営する情報提供フォーム。Claude Haiku 4.5 が架空の内容を送信しました。
投稿は迷惑情報として処理され、調査には回っていません。
01 / THE MISSING LINE
禁止リストに、「送信」がなかった。
05評価用の指示で禁止していた操作
ログインアカウント作成個人情報の入力購入破壊的な操作
01明示されていなかった操作
フォームの送信
危険な操作を禁じていなかった
わけではありません。
02 / THREE PERMISSIONS
「閲覧できる」と「送信してよい」は、別の権限。
01
READ
閲覧
ページを読む
→
02
FILL
入力
入力欄を埋める
→
03
SEND
外部送信
送信ボタンを押す
人には3つの別の行為。AIエージェントには、依頼を終えるための連続した操作に見えます。
03 / DECIDE BEFORE AUTOMATING
まず1つのフローで、四つに分ける。
01閲覧だけで
閲覧だけで
完了してよい対象
読むところまでで終える
02入力は許可し、
入力は許可し、
送信前に止める対象
人へ戻す地点を置く
03外部送信を許可する
外部送信を許可する
宛先と目的
許可の範囲を先に定義
04送信内容・結果・
送信内容・結果・
承認者を残すログ
後から辿れる記録
04 / TAKEAWAY
どの操作で人へ戻すか。
そこが、検証の出発点。
内部評価のライブ接続を停止検知・遮断の仕組みを追加
これはAnthropicの内部評価への対応であり、一般の企業環境で安全が保証されたという意味ではありません。
出典：Anthropic「Investigating unintended model actions in our evaluations and internal use」（2026年10月9日公開）
PROTOCORE LAB
AIで、事業・商品を形にする。