AI PoCでは、モデル性能だけでなく、何を判断するための検証か、誰が運用するか、改善をどう続けるかを先に決めておく必要があります。
1. PoC後に下す判断を決める
最初に決めるべきなのは、精度目標だけではなく、PoCの結果を使って誰が何を判断するかです。限定導入へ進む、対象業務を変える、データ整備を優先するなど、出口の選択肢を整理しておくと検証項目を絞れます。
- 判断者
- 判断日
- 選択肢
- 判断に必要な情報
2. AIの指標と業務の指標を分ける
回答精度だけでは導入価値を判断できません。対応時間、有人引き継ぎ率、完了率など、業務側の変化も確認します。短期間で最終効果まで判断できない場合は、先行指標と最終指標を分けます。
3. 対象範囲と例外処理を決める
AIが答える範囲、答えない範囲、人へ引き継ぐ条件を決めます。対象を広げすぎず、限定した範囲で運用品質を確認する方が改善点を把握しやすくなります。
4. ナレッジの更新担当を決める
回答の根拠となる情報は更新されます。誰が更新し、どの頻度で確認し、誤りをどう戻すかまで確認しておくと、商用化後の運用負荷を見積もれます。
5. 改善項目をタスクにする
ログを確認した後は、問題を分類し、優先順位を付け、会話設計・ナレッジ・システム・運用のどこを直すか決めます。担当と期限まで設定しておくと、改善を継続しやすくなります。
FAQ対応を検証する場合
仮の例：定型の配送案内をAIの対象とし、返金など個別判断が必要なものは有人対応に残します。検証では、正しい回答だけでなく、対象外の質問で引き継ぎ案内が出るかも確認。結果を見て「対象を限定して試す」「ナレッジを直して再検証する」などを判断します。
打ち合わせ前の確認リスト
- 評価用の質問に、通常・例外・対象外のケースが含まれているか
- 正解とする情報源と、その版・更新日が決まっているか
- 判定結果と根拠、再確認する項目を記録できるか
- 次の判断をする人と、判断に必要な情報が合意されているか
この記事の要点
PoCでは、デモの完成度だけでなく、次の判断に必要な情報が揃うかを確認します。