01
測りたい概念を
先に定義する
DEFINE THE CONCEPT
スコアが何を測り、
どの条件で再現できるかまで問う。
単一ターンの評価は、
最近のモデルでこの範囲に
集中しやすく、差が見えにくい。
→ 会話を重ねるテストや、複数の条件を組み合わせたシナリオが必要。※Anthropicの評価に関する記述
DEFINE THE CONCEPT
VALIDATE THE GRADER
REPORT UNCERTAINTY
出典:Anthropic「Building strong safety evaluations」