デモは常に機能する：本物のAIシステムと練習されたものを見分ける方法

デモの裏側を見る

AIデモはどれも機能します。それはデモの目的です。ベンダーは文書、顧客データ、質問、クリックするタイミングを選びます。それらは不正ではありませんが、証拠でもありません。その場でシステムの下に存在する仕組みがあるかどうかを確認するのは、あなたの役割です。通常、適切な質問を30分で行うことができます。

独自の入力を持ち込む

ベンダーとのミーティングで最も役立つことは、キーボードを手に取ること。自分のビジネスから文書を1つ取り出し、混乱した契約書、3人の人が話し合っているサポートスレッド、最悪のフォーマットの請求書など、システムに実データを入力してください。彼らにリアルタイムで処理させましょう（準備なし）。

応答時間、言い回し、フォーマット、回答の自信度に変化があるかどうかを観察しましょう。誰かが準備していない入力に対してもシステムが機能するのは、少なくとも現実世界と接触したことがあることを意味します。

ベンダーが拒否した場合、その理由を尋ねましょう。「サンドボックスにデータが読み込まれていない」という答えは妥当です。それを受け入れたら、テストを条件として書面化し、署名前に提出しましょう。ファイルとパスを明確に定義してください。

間違った場合の対応を尋ねる

一時的な正確率を無視し、残りの8%について尋ねましょう。システムが92%正しい場合、その8%はユーザーの視点からどのように見えますか？選択肢は3つしかありません：システムは知らない、人間にエスカレーションする、または自信を持って間違った回答を生成する。

誤って大声で失敗するシステムは安価です。静かに失敗するシステムは高額です。なぜなら、そのコストは誤った情報に基づいて行動した顧客と、1週間もかかってそれを解消する従業員が負担するためです。

次に、システムが回答を拒否したケースを見せてもらいましょう。製品として機能しているチームは、通常、これらのケースを誇りに思っています。なぜなら、抑制することは難しいからです。

回答の出所を尋ねる

自分のビジネスに関連するすべての文書（ポリシー、価格設定、契約書、製品仕様など）は、ソースを引用する必要があります。引用元を要求し、開いてみましょう。問題はリンクが表示されたかどうかではなく、回答が引用文書の内容を正確に反映しているかどうかです。

このプロセスを2回繰り返しましょう。2つのチェックは、スライド1時間分よりも多くの情報を与えてくれます。

データ変更後の対応を尋ねる

デモは凍結されたスナップショットに基づいています。ビジネスは凍結されていません。これらの質問は製品とプロトタイプの違いを明確にします：

新しい情報や修正情報はどのようにシステムに入力され、どの頻度で、誰の仕事ですか？
文書が削除または更新された場合、システムがその情報を使用しなくなるまでにはどのくらいの時間がかかりますか？
システムは既存の権限を尊重していますか、それともすべてのユーザーに同じ回答を提供しますか？
基底モデルが変更された場合、テストを行う前にユーザーに提供されますか？
月曜日の午前9時にシステムがダウンした場合、誰が対応し、応答時間はどのくらいですか？

曖昧な回答は、その場で最も強い合図となります。実稼働しているチームはこの質問に対してすでに経験しており、自信を持って答えることができます。

費用がかかる数字を求める

スライド上のパーセンテージは無料です。具体的な数値を要求しましょう。ユーザー数、月数、基準値、誰が測定したかなど、形のあるデータを求めましょう。「ティア1チケットの60%を解決する」という表現は、他の40%のコスト（リダイレクトや、より複雑な問題への対応など）を知るまで意味がありません。また、その数字が10人のパイロットプログラムから得られたものか、1000人のユーザーに1年間提供されたものかも確認しましょう。

優れたベンダーは具体的な回答と注意点を提示します。実際にシステムを実稼働させたチームは、その弱点を知っており、法的責任を伴う判断を必要とするケースなど、明確に説明できます。

できないことを尋ねる

ベンダーに、システムが不適格な使用例をいくつか説明してもらいましょう。自信のあるチームは、この質問に即座に答える準備ができています。通常、その回答は正確です：長文のスキャン文書、評価セット外の言語、法的責任を伴う判断が必要なケースなどです。

「あらゆる状況に対応できる」と答えるチームは、まだ十分に厳しいテストを行っていない可能性があります。あなたが見つけるのは、契約が署名された後にそのエッジです。

最後の質問

ミーティングを終える前に、既存の顧客が平日の通常の火曜日に見るものを確認しましょう（デモではなく）。ダッシュボード、ログ、エスカレートケースのキュー、金曜朝のレポートなどです。実稼働しているシステムは、この退屈で具体的なインターフェースを備えています。デモでは見せられないものです。