AIモデルアップグレードの落とし穴
AIシステムは金曜日に動作し、月曜日にも依然として回答を提供し、2秒未満で応答し、ダッシュボードの健康チェックをすべてパスしています。しかし、回答内容は微妙に異なります。フォーマットが破損したり、下手をしたらポリシーに関する正しい回答が間違っていたりします。
何も故障していない。あなたのプロバイダーはモデルアップグレードを提供しました。
これがリーダーシップチームを最も驚かせる失敗モードです。なぜなら、これはダウンタイムとは全く異なるからです。赤ランプは点灯していません。システム自体は健康状態を報告していますが、出力内容があなたの期待を下回っています。顧客は監視システムよりも先に問題に気づきます。
アップグレードが機能していたものを壊す理由
新しいモデルは平均的に優れており、特に異なる点があります。プロバイダーは集計ベンチマークを最適化しますが、あなたは独自の現実に対してデプロイしています。モデルが変更されると、あなたが調整した周囲の行動も変わります。プロンプトに依存する文言、統合に期待されるJSON構造、コンプライアンスチームが承認した拒否境界、UIに適合する長さなどです。
アップグレードは3つの方法で提供されます。プロバイダーが古いモデルを引退し、あなたを新しいバージョンに移行させること。浮動式のアリアスが最新のバージョンに静的に解決されること。または、コストやレイテンシーの削減のために意図的にアップグレードし、品質が向上すると仮定することです。いずれの場合も、行動が変わり、誰も何が変わったのかを測定しませんでした。
変化を検出するための仕組みを作る
重要な単一のコントロールは、既知の正しい回答を持つ固定のテストケースセット—「ゴールデンステート」です。実際のトラフィックから200例を取り出し、一般的なケース、エッジケース、誤った回答がコストをかける状況をカバーします。各例にビジネスが正しいと考える回答があります。
現在のモデルに対してこのセットを実行し、結果を記録します。これがあなたのベンチマークです。新しいモデルが登場したら、同じセットを再度実行し、比較します。比較結果が全体像です—今や証拠が手元にあるのです。
この構築には数日かかり、オペレーターではなくエンジニアが必要です。定義するのは「正しい」とは何かということです。ほとんどの組織は、リリース前にオーバーヘッドだと感じ、これをスキップします。しかし、これはシステム全体で最も安価な保険です。
変更があなたに届くタイミングをコントロールする
各生産構成で明示的なモデルバージョンをピン留めします。ピン留めされたバージョンでは、攻撃ではなく意思決定として変更をスケジュールできます。次に、アップグレードを小さなプロジェクトとして扱います。
- ゴールデンステートを新しいバージョンに対して実行し、ケースごとにベンチマークと比較
- ビジネスオーナーに、回答が変更されたすべてのケース（悪化も改善も）をレビューしてもらいます。
- 小規模なトラフィックのシェアを新しいバージョンに送って、オペレーション信号を監視します：エスカレーション率、平均処理時間、スタッフによるシステムドラフトの再作成回数、同じ問題に対する1週間の再連絡数などです。
- 古いバージョンをロールバック可能な期間中に利用可能にし、誰がスイッチを切る権限を持っているかを知っておきます。
- 決定日、時刻、証拠を記録し、次のアップグレードは既知の状態から開始できるようにします。
このリストに含まれていないのはデモです。新しいモデルが5つの質問に印象的に答えたとしても、それはあなたのトラフィックの20パーセンタイルには何も言えません。
ビジネスがすでに生成しているシグナルを監視する
アップグレード間には、品質の低下は数字としてすでに収集されている可能性が高いです。エスカレーション数、平均処理時間、スタッフによるシステムドラフトの再作成回数、同じ問題に対する1週間の再連絡数などです。これらの数値が2～4ポイント悪化した場合は、モデル層で何かが変更された可能性があります。
毎週、その数字をモデルバージョンと比較する担当者を1人割り当てます。委員会ではなく、四半期レビューでもなく、特定の人物にこのタスクを任せ、15分間のチェックを行います。
契約に盛り込む
プロバイダーに、バージョン引退前に書面での通知を提供し、ピン留めされたバージョンに対する最低サポート期間を文書化し、移行中に前バージョンのアクセス権を与えるように要求します。規制業界のベンダーは通常、これを提供しています。提供しないベンダーは、その答えが有用な情報となります—アップグレード前にではなく、後に構築する前に。
正直な立場
プロバイダーがAIモデルを改善することは止められませんし、望むべきでもありません。しかし、あなたは改善があなたの条件下で行われるようにすることができます：測定可能で段階的で取り消し可能で、誰かが責任を持つように。
これがパイロットではなく本番環境でのAI運用の退屈な側面です。いずれにせよ、ゴールデンステートを作成してください。それ以外のすべてはこれにかかっています。