生成AIで分類した顧客の声は使えるか｜原文と照合して商品改善に回す確かめ方

問い合わせやアンケートを生成AIで分類したら、「操作が分かりにくい」が最多になった。この結果を、そのまま改善の優先順位に使ってよいのでしょうか。

分類ごとに原文を抜き出し、人が照合してから使う範囲を決めましょう。この記事では、確認の手順と記入例を通じて、商品担当へ渡せる情報と、追加確認が必要な情報を分けます。

• まずは、渡す予定の分類を1つ選び、原文IDから元の記録を開けるか確認しましょう。

• 今週は、その分類と「その他」を照合し、誤りや保留理由を記録するところまで進めます。用意するのは、ID付きの原文、分類の定義、確認する担当者です。

原文と担当者と分類の定義をそろえる

照合に必要なのは、次の3つです。

• 原文への経路：問い合わせ番号や回答IDから、元の記録を開ける。
• 担当者：原文を照合する人と、商品改善に使うか決める人が決まっている。
• 分類の定義：各分類に入れる内容と、入れない内容が書かれている。

不足があれば、業務判断への利用はいったん保留しましょう。全件で条件をそろえにくい場合は、直近のアンケート1回分など、確認できる範囲に絞る方法もあります。

AIにはID付きの原文と分類の定義を渡し、分類名に加えて根拠にした原文の箇所を返してもらいます。定義を決めることと、結果を採用する判断は、人の役割です。

原文を抜き出し AIの分類と比べる

予約管理サービスへの問い合わせを、「操作が分かりにくい」「料金」「不具合」「要望」に分けた仮例で見てみましょう。

1. 使う基準を先に決める。商品担当と使い道を確認し、どの程度の誤りなら利用を見送るか合意します。結果を見てから基準を動かさないためです。
2. 各分類から原文を抜き出す。多い分類だけでなく、少ない分類や「その他」も対象にしましょう。
3. AIの分類名を見ずに判定する。定義に沿って人が判定した後、AIの結果と比べます。人同士でも判断が分かれた原文は、無理に振り分けず保留です。
4. 不一致と保留の理由を残す。原文IDとともに、ずれた内容や、判断に足りない情報を記録しましょう。

たとえば「操作が分かりにくい」に、「スタッフのアカウントでは予約画面が見えない」という声が含まれていたとします。原文だけでは、権限設定、不具合、案内不足のどれが原因かは分かりません。

この場合の記入例は、次のとおりです。

定義を書き足すか、分類を分けるかは、追加確認の結果を踏まえて決めましょう。照合では、次の点も見落とせません。

安全などに関わる重大な申告は、集計を待たず社内で定めた担当へ渡します。原因は断定せず、分類基準の修正より先に引き継ぐ扱いです。

確認した範囲と使い道に応じて判断する

抜き出した原文が正しく分かれていても、未確認の原文まで正しいとは限りません。確認範囲と誤りを踏まえ、次のように判断しましょう。

• 使う：事前の基準を満たした分類を、決めた用途に限って使います。
• 範囲を絞る：一部に誤りや保留がある場合は、基準を満たした分類だけを使う方法です。保留した声を、どちらかへ寄せて数えないようにしましょう。
• 保留する：多くの分類に誤りがある、または原文に戻れない場合は、定義や入力から見直します。

定義を直して再分類した後は、修正に使っていない別の原文で再確認します。修正時に読んだ原文だけでは、その例に合わせた定義でも合って見えるためです。

人による判定や、改善用とは別のデータで評価する考え方は、OpenAIの評価ガイドも参考になります。ここでは照合方法を考える参考として紹介しています。

分類の件数だけで改善の順番を決めない

分類が合っていても、件数は声を寄せた人の申告を数えたものです。問い合わせをしない利用者もいるため、利用者全体で困っている割合とは限りません。

実際に操作が止まっているかは、利用記録などでも確かめましょう。商品担当は、寄せられた声に加え、影響を受ける利用者や改善の負担を見て、どこを直すか判断します。

渡す資料には、分類の定義、照合日、対象範囲と件数、見つかった誤り、保留事項と次の確認先を添えてください。確認できた範囲と、まだ分からない点を一緒に渡すことが、分類結果を使う出発点です。