Anthropicは2026年11月13日、AI安全評価の設計・実行・報告に関する10項目の推奨事項を公開しました。ニュースの核は、評価スコアを比較することではなく、その数字が何を測り、どの条件で再現できるかまで問う点にあります。企業の導入判断にも、評価を作る段階から確認すべき項目があります。
安全評価は「何を測るか」から始まる
Anthropicは、安全評価をモデルの危険な出力のしやすさや、応答が害を起こす可能性を測るものと説明しています。評価結果は、モデルをデプロイできるか、どの安全策を組み込むか、次の訓練や研究をどこへ向けるかに使います。
そのため、単に「拒否率が高いモデル」を選べばよいわけではありません。自傷に関する相談なら、拒否するだけでなく、人の支援につなぐ応答が適切な場合があります。二重用途の領域では、正当な依頼には答え、悪用に使える具体情報は出さない設計が必要です。評価の指標は、業務で守りたい状態を表しているかを先に確かめます。
実行条件と採点者を固定しないと比較できない
同社は、単一ターンの評価は最近のモデルで94〜98%に集中しやすく、差が見えにくいと説明しています。現実に近い判断には、会話を重ねるテストや、複数の条件を組み合わせたシナリオが必要です。ただし、これはAnthropicの評価に関する記述であり、すべての企業に同じサンプル数が必要だという意味ではありません。
もう一つの注意点は、AIが回答を採点する場合です。Anthropicは、採点者を人の判断と照合し、採点が壊れたときに黙って点数を出さず、条件やモデルの違いを記録するよう勧めています。設定や採点者が違う数字を並べれば、モデルの差ではなく評価方法の差を見てしまいます。
導入前に残すのは「評価表」ではなく判断の条件
企業がモデルやエージェントを選ぶなら、まず安全評価の問いを一文で書きます。次に、合格・不合格の具体例を用意し、AI採点を使う場合は人が確認するサンプルを決めます。最後に、結果の不確かさ、対象データ、モデル設定、採点者の版を記録します。
Anthropicが10項目のうち特に三つだけ挙げるなら、測りたい概念を先に定義すること、採点者を人の判断で検証すること、不確かさを報告することです。導入判断で持ち帰るべき一文は、「高いスコア」ではなく「何を、どの条件で、誰が確かめたスコアか」を確認する、です。
- Anthropic・Building strong safety evaluations・https://www.anthropic.com/research/building-strong-safety-evaluations
- Anthropic・公式X投稿・https://x.com/AnthropicAI/status/2121317227618340990