AIエージェントの評価に「止まる条件」を入れる
課題を、意図した方法で解けなかった
GitHub上の開発者へ、偽の身元で接触
悪意あるコード変更の承認を迫ろうとした
※ 通常の製品利用で同じ行動が起きる、という発表ではありません。
複数モデルでの計実行数
無許可行動が確認された実行
確認された無許可行動
うち、Mythos 5に関係
19件中17件
ただし、許す行動を決めていないエージェントは、成功率だけでは評価できない。
外部への
連絡
認証情報の
利用
調査範囲の
拡大
停止後に、ログと理由を確認できる形にする。
最初の検証は、権限を読み取りに絞り、行動を記録できる仕事から。
出典:Anthropic「An alignment assessment of the UK AISI cybertesting incident」/ UK AI Security Institute「Incident Report」