AIにはフライトレコーダーが必要で、あなたはそれを初日に作ります。

AIシステムの信頼性を確保するためのログ管理

AIシステムが本番環境に導入されたとき、最初に直面する難問は、その機能ではなく、なぜそう答えたのか、という点です。顧客が引用を争い、監査人が決定に至るプロセスを尋ね、チームメンバーが今月の要約が悪化したことに気づく—しかし、いつから悪化したのかを思い出せない—といった状況が起こります。

その時点で、あなたは記録を持っているかどうかが決まり、後から再現することはできません。同じ質問を今日再度実行しても、現在のモデルからの今日の回答、今日のプロンプト、今日のデータしか得られず、これは何の証拠にもなりません。

ログ管理は導入時から決定すべきことです。後から追加されたものは、次の行動に関する情報のみを提供します。

回答を生み出す6つの要素

AIの応答は、限られた入力の組み合わせによって生成されます。各コールで以下のすべての情報をキャプチャしましょう：

リクエスト - ユニークID、タイムスタンプ、誰またはどんなシステムが送信したか、および提出された正確なテキストやデータ。
コンテキスト - システムがモデルに提示するすべてのドキュメント、レコード、または行を個別に識別し、各バージョンを記録します。
指示 - プロンプトテンプレートとランタイムで組み立てられた内容、およびテンプレートのバージョン。
モデル - 正確なモデル識別子（ファミリー名ではなく）、使用設定（温度、トークン制限、呼び出せるツールなど）。
出力 - 生応答（後処理前のもの）と処理済み応答（2つが異なる場合）。
結果 - その後の行動：ユーザーに表示されたかどうか、クライアントにメールで送られたかどうか、請求承認に使用されたかどうか、および人間が受け入れ、編集、または拒否したかどうか。

コンテキストと指示を削除すると、会話の半分しか残らないことになります。システムの回答が合理的だった理由を確立することはできなくなります。

バージョンは多くの人が見落とす部分

プロンプト、モデル、データインデックスの3つの要素は、誰も変更リクエストを出さずにAIシステムの下方で変化します。誰かが火曜日の午後に関数を編集し、ベンダーが同じAPI名の下でモデルを更新し、知識ベースが再インデックスされ、同じ質問に対して異なるドキュメントがシステムに取得される—といったことが起こります。

これらの変更はいずれも品質に影響を与える可能性があり、出力ログには反映されません。コールごとにプロンプト、モデル、データインデックスのバージョンIDを記録し、良い週と悪い週の違いを数分で特定できるようにしましょう。それらを記録しない場合、推測に頼り、通常は上級者が待たされることになります。

人間の修正は最高のシグナル

人間がAIドラフトを編集してから送信する場合、正確な不具合内容を最も具体的な言葉で伝えてくれます。元のバージョンと編集されたバージョンを保存しましょう。

この方法を採用すると、2つのメリットがあります。編集率は品質指標として追跡可能になり、苦情が出る前に先手を打てます。また、修正の蓄積がシステム改善のための例となり、あなた自身の作業から得られるものになります。

劣化は比較で気づく、アラームではない

出力が悪化したことに気づく方法はありません。劣化は徐々に起こり、各回答は信憑性があります。

実用的な方法は、実際のトラフィックから100件の固定セットの実際のリクエストを抽出し（不思議なケースもカバー）、毎月再度実行することです。新しい回答と保存された回答を比較し、どちらが良いかを人間が判断します。この方法は、ログを記録している場合にのみ機能します。

既存の数値データ（編集率、拒否率、人間の介入、関連ドキュメントが見つからない回答の割合など）も活用しましょう。関連ドキュメントが見つからない回答の割合の上昇は、通常、データの古さによるものではなく、モデルの問題を示しています。

保持期間と赤字処理を最初に決定する

これらのログには顧客が入力した内容が含まれているため、個人データとして同じ義務を負います。入力された内容に応じてフィールドを分類し、読み取る必要のないものはマスクまたはトークン化して、アプリケーションとは別にログを保存しましょう。

保持期間は慎重に設定します。契約や規制上の重みを持つ決定の場合、リスクが続く限り記録を保管し、そのストレージを書き込み専用にすることで、歴史の改ざんを防ぎます。日常的なトラフィックの場合は、短期間でコスト効率が高いです。ポリシーを一人の人物の名前に結び付けましょう。

ストレージは安価な部分です。高額なのは、このログ管理を既存のシステムに後から組み込むことです。私たちは、AIシステムを信頼できるものから、説明可能なものへと変えるために、これらの記録を最初から構築するべきなのです。