AI内部ツール：ミスを防ぐためのチェックリスト
AI内部ツールが誤りを犯せば、あなたは1時間の損失を負います。顧客対応ツールが同じ誤りを犯せば、それは返金や苦情、ソーシャルメディアでのスクリーンショットにつながります。開発には類似した工程が必要ですが、リスクは大きく異なります。
多くのチームは、システムが最初の本番会話を始める前に、以下の質問に答える準備ができています。
システムが行うことを明確にする
できることではなく、許可されていることを定義しましょう。これは異なるリストであり、後者があなたを守るための重要な要素となります。
具体的に機械的に記述しましょう。「注文状況や配送時間、返品ポリシーに関する質問に答える」は範囲内ですが、「カスタマーサービスを扱う」はそうではありません。次に、システムが絶対に行ってはならない行動のリストを作成します。例えば、返金限度額を超える返金処理、価格確認、医療・法律・金融上の結果に関する発言、口座情報の変更、納期約束などです。
リクエストが最初のリストに含まれない場合、システムはそれを処理しません。このルールはシステム内に組み込まれ、モデルがその場で判断するのではなく、一貫して適用される必要があります。
知らないときの対応を決める
顧客対応ツールには、定義された移行経路が必要です。会話は誰に移るのか、どのくらいのスピードで移るのか、お客様は待ち時間に何を見るのかを設定しましょう。
移行テストを他のテストよりも先に実施しましょう。人間エージェントが完全な会話を受け取れるのか、それともお客様が繰り返し説明する必要があるのかを確認します。また、日曜日深夜11時など、シフトがいない時間帯でもスムーズに移行できるかどうかもチェックしましょう。システムが空のキューにエスカレートすると、お客様はすでに5分も待たされていることになります。
実際のケースでテストする
過去3四半期の100件の実際のお客様会話を抽出します。簡単なものではなく、怒りを露わにしたもの、曖昧なもの、お客様の誤りがあったもの、2言語目や3言語目のものなどです。これらの会話をシステムに通し、自分ですべての応答を読み取るか、今日その対応を担当しているチームに読んでもらいましょう。
特定の失敗事例を探しましょう：
- システムがソースを持たない質問に自信を持って答える
- ポリシーがわずかに間違っている（正しい考え方だが、数字や期限が間違っている）
- お客様が怒っているときにトーンが平板になったり硬くなったりする
- 企業が履行しなければならないようなコミットメントのように読める応答
- お客様の言語が異なると行動が変わる
ここでは正確率を調べるのではなく、ミスがどのような形を取るかを把握し、どの程度受け入れられるかを判断することを目的としています。
顧客にAIであることを伝える
複数の市場の規制当局が求めるように、顧客にAIシステムを使用していることを明確に伝えましょう。顧客はそれでも気づくでしょうが、隠しているように見える企業の方が罰せられます。
その際に、会話データの取り扱いについても確認しましょう。保存場所、保管期間、管轄外への移動、トレーニングに使用するかどうかなどです。法的・データ保護担当者が事前に同意しておくべき事項です。
ミスを可視化する
すべての会話を記録し、毎週サンプルを読み返しましょう。本気で読み、最初から最後まで確認します。エスカレーション率、顧客が繰り返し説明する会話、ドロップアウト、アシスタントに関連した苦情の件数など、重要なシグナルに対するアラートを設定します。
評価するための1つの指標を決め、合意しましょう。回避率、解決率、最初の応答時間、処理された会話の満足度などです。システムが引き返す基準も決めておきましょう。3週間後に圧力下でうまくいかないと判断するのは遅すぎます。
責任者を定め、キルスイッチを構築する
システムの運用責任者を特定し、その人物に名前で権限を与えましょう。システムを停止できるのはこの人だけです。停止には1つのアクションで1分以内に行えるように準備しておきます。アシスタントの停止にデプロイが必要な場合は、キルスイッチではありません。希望に過ぎません。
段階的に導入する
最初は1つのチャネル、1つの言語、1つの質問カテゴリ、トラフィックの10%で導入しましょう。週次レビューが退屈になるまで徐々に範囲を広げます。幅広く導入してからロールバックするのは、ほとんどのチームが許可されないことです。
これらの手順は特別なものではありません。あなたがクライアントに提供しているのと同じ通常の規律を適用しているだけです。クライアントが自分でフレームワークを構築したくない場合でも、このチェックリストは同じように有効です。