AIシステムの失敗を防ぐためのガイド
AIシステムは、顧客の前で間違いを犯す可能性があります。しかし、それは技術的な問題ではなく、管理の失敗です。以下に、AIシステムの誤作動を防ぎ、適切な対応を行うためのステップを紹介します。
「間違っている」ことを定義する
すべての誤答が同じ対応を必要とするわけではありません。誤答をランク分けし、各ランクに責任者を割り当てます。
- トーンに関する問題: システムが短絡的であったり、役に立たないほど正式な表現である場合は、次週のリリースに向けてコーチングが必要です。
- 事実上の誤り: ポリシー、価格、納期に関する誤りは、即時の修正と顧客への連絡が必要です。
- 金銭、安全性、法的義務、個人データに関連する誤り: これらの誤りは重大な問題であり、機能の停止が必要です。
これらの3つのランクをページに明記し、各ランクに責任者を割り当て、対応時間とシステムの停止に関する明確な権限を与えます。電源を切れる権限がデプロイのみでは、真の意味での「殺す」スイッチはありません。
顧客に人ではなくループを提供しない
AIサービスにおいて最も有害なパターンは、閉じたループです。顧客がシステムと議論しても解決せず、システムが自己説明を繰り返す状況です。人々は誤答を許容しますが、閉じ込められることは許容しません。
AIとのやり取りには、最初のリクエストから人間に連絡できるルートが必要です。インターフェース上にそのルートを明示的に表示し、顧客の全会話履歴を確認できるようにします。また、エスカレーション率を主要な指標として追跡します。エスカレーションが発生しないシステムは、多くの場合、出口が見つからないシステムです。
繰り返し自己主張する顧客や、会話が一定の長さを超える場合、またはトピックが返金や苦情に関連する場合には、自動的に人間にエスカレートするように設定します。
謝罪はビジネス上の意思決定である
顧客への誤答連絡には、速度、具体性、問題解決のための提案の3つの要素が重要です。事前にテンプレートを作成し、圧力のない状態で準備しておきます。
- システムが間違った内容を明確に述べる
- 正しい立場を述べる
- 再発防止のための措置を述べる（モデルやアーキテクチャの説明は避け、「AI幻覚」という表現も顧客には使用しない）
その後、事前にポリシーを決定します。価格が間違っていた場合は正しい価格で対応するか、納期を守れない場合はどのような補償を提供するかを決めます。ケースバイケースではなく、一度部屋で議論し、一貫したポリシーを策定しましょう。一貫したポリシーのコストは、状況に応じて即興で対応するコストよりも低くなります。
記録しておきたいことをログに記録する
監査証跡は、議論が調査に変わるきっかけとなります。初期段階から記録を開始します。
- 入力と出力の正確な内容、タイムスタンプ、顧客が引用できる会話ID
- どのモデルとバージョンが生成したか、およびどのプロンプトや設定がライブだったか
- システムが取得した文書や記録、悪い情報源と悪い回答を区別するための情報
- すべての人間による介入：エスカレーションした人、オーバーライドした人、変更した内容
- 結果：解決、返金、苦情、離脱
保持およびアクセスルールもこれとともに設定します。データ権を行使する顧客にスムーズな回答を提供するために、事前に法的レビューを行うことが望ましいです。
実際に練習する
デプロイ前に30分間のドリルを実施します。現実的な誤答を取り上げ、検出、エスカレーション、顧客連絡、修正手順をシミュレーションします。すぐにギャップが見つかるでしょう：週末に担当者がいない、特定の機能を無効にできない、ログにどのプロンプトバージョンがライブだったか記録がないなどです。
上記のすべてが地味な作業ですが、最初の悪い週後に対応するのではなく、事前にこれらのパスをシステムに組み込むことで、失敗を防ぐことができます。計画を立てておくことで、負担を軽減できます。