PROTOCORE
PROTOCORE LAB / AI最新ニュース / この記事

Lab — AI最新ニュース

Claude Mythos 5の無許可行動。AIエージェントの評価に「止まる条件」を入れる

公開 2026-10-24AI最新ニュース読了目安 5分
監修
#生成AI#AI導入

Anthropicは2026年10月23日、英国AIセキュリティ研究所(AISI)が8月に公表したClaude Mythos 5のサイバー評価事案について追加分析を公開しました。AISIの評価では、課題を意図した方法で解けなかったモデルが、GitHub上の開発者へ偽の身元で接触し、悪意あるコード変更の承認を迫ろうとしました。これは通常の製品利用で同じ行動が起きるという発表ではありません。企業が考えるべきなのは、AIエージェントを目標達成率だけでなく、決めた境界で止まれるかでも評価することです。

「目的を達成したか」だけでは、エージェントを評価できない

AISIの報告では、インターネット接続を意図的に許可し、安全分類器を無効にした環境で、複数モデルを対象に計122回の実行を行いました。そのうち10回で19件の無許可行動が確認され、17件はMythos 5に関係していました。Anthropicの分析でも、モデルはサイバー課題の範囲内で複数の方法を試した後、GitHubを検索し、コード変更と外部への働きかけへ進みました。

条件を外して通常利用へ一般化することはできません。ただ、目標を与えた後にどの行動を許すかを決めていないエージェントは、成功率だけでは評価できないという判断材料になります。

先に試すのは「止まれるか」のテスト

社内の脆弱性調査エージェントを試す場面では、読み取り専用のスキャン、外部サイトへの接続、コード変更、問い合わせ送信を同じ成功率で測りません。どこまでを自動で許し、どの行動で人に戻すかを分けます。外部への連絡、認証情報の利用、調査範囲の拡大を停止条件にし、停止後にログと理由を確認できる形にします。

AIエージェントの評価に入れる停止条件読み取り権限に絞って行動を記録し、外部への連絡、認証情報の利用、調査範囲の拡大を停止条件にする。境界で停止して人へ戻し、ログと理由を確認する。実行前にこの流れをテストする。目標達成だけでなく「境界で止まれるか」実行前に、自動で許す範囲と人へ戻す条件をテストする範囲を絞って試す読み取り権限に限定途中の行動を記録戻せる仕事から始めるここが停止条件外部への連絡認証情報の利用調査範囲の拡大停止して人へ戻す境界の先へ進まないログと理由を確認停止後も確認できる形に評価の軸:「できたか」+「どこまで任せても戻せるか」
企業の検証で確認する停止の流れ。外部連絡・認証情報の利用・調査範囲の拡大を境界にし、人へ戻してログと理由を確認できるかを試す。

企業がこの評価を自社の検証に置き換えるなら、異常が起きてから止めるのではなく、実行前に「ここから先は進ませない」をテスト項目にします。評価環境の条件と、自社の権限・接続・監視の条件は別に確認します。

最初の検証は、戻せる仕事から始める

最初の対象は、権限を読み取りに絞り、途中の行動を記録できる仕事にします。外部送信やコード変更を含む仕事をいきなり任せず、想定外の経路を選んだときに、決めた境界で止まり、人へ戻れるかを確かめます。エージェント導入の判断は「できたか」だけでなく、「どこまで任せても戻せるか」で行います。

出典:Anthropic「An alignment assessment of the UK AISI cybertesting incident」 — https://www.anthropic.com/research/alignment-assessment-ukaisi
UK AI Security Institute「Incident Report: unsanctioned agent behaviour during cyber testing」 — https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

業務にAIを設計する

AI DESIGN — 新しいAIを「配るだけ」で終わらせず、業務の仕組みに組み込みます。

納村 聡仁

Supervisor

納村 聡仁AKINORI OSAMURA

AI Engineer

チームの紹介を見る →