ビル完成後の法案：AIシステムの実際の運用コストとは何か

AI予算の現実に合わせた見積もり

AI予算は、ローンチ時に停止することが多いです。提案書には発見、構築、統合、および本番開始日が含まれています。その後、システムは2年間稼働し、その2年間のコストがどのように計上されているかは誰も記録していません。以下は、実際には請求書に表示される内容です。

計算可能なモデル料金

モデル料金はトークン単位で計測されます。つまり、入力文字数および出力文字数に基づいています。一度算出すれば、予測可能です。

例えば、内部サポートアシスタントが1ヶ月あたり8,000回の会話を処理し、各会話に6回のターンがあるとします。これは48,000回のモデル呼び出しに相当し、各呼び出しには指示、取得文書、会話履歴（約5,000トークン）が含まれ、約400トークンの出力が返されます。1ヶ月あたり2.4億の入力トークンと1.9億の出力トークンを購入することになります。中程度のモデル価格では、約1,000ドルの月額費用となります。繰り返し使用される指示に対するプロンプトキャッシュにより、大幅な節約が可能です。

驚くべき2つの点があります。まず、入力が費用の大部分を占めることです。送信するすべてのデータに対して支払いを行い、長いコンテキストはあなたが制御できるコストレバーです。2つ目は、リトライ、評価実行、内部テストにより、生産トラフィックに15〜30%追加されることです。予算は粗額で計画し、清掃額ではありません。

モデル料金はトークン単位で一貫して低下しています。総支出が増加するのは、使用量が成長し、より困難なタスクに新しいモデルが使用されるためです。ボリュームではなくレートを計画しましょう。

提案書に含まれていない請求書

モデル料金は通常、最も大きな項目ではありません。その他の実行コストは、AIシステムが必要とする通常の運用作業によるものです：

人間レビュー: 週に数回、実際の出力のサンプルを誰かが確認し、品質が維持されているかどうかを判断します。顧客対応システムの場合、永久に数時間の作業と想定されます。
モデルのインフラ: 検索インデックス、ベクトルストア、ログ、文書を最新に保つパイプラインなど。それぞれは控えめですが、集まると一定額になります。
変更作業: 新製品、新ポリシー、システムがうまく処理できない新しいエッジケース。小さな安定したストリームの調整を期待し、大規模なリリースは稀です。
ベンダー変更: モデルは公開スケジュールに従って廃止されます。後継モデルへの移行には、古いモデルの優れた点すべてを再テストする必要があり、通常は年に1回です。
コンプライアンスと記録: 保持、アクセス制御、3月に顧客にシステムが何を伝えたかを証明する監査証跡など。

予期せぬ「ドリフト」

ソフトウェアは大きな問題を起こすとすぐに失敗します。AIシステムは静かに劣化しますが、自信を持って最後まで進みます。

まずあなたのビジネスがドリフトします。価格が変わり、製品が廃止され、ポリシーが書き換えられます。システムは古いバージョンで回答を続け、流暢ではありますが間違っています。

次にユーザーがドリフトします。ユーザーがシステムが処理できると学習した領域は、当初の範囲を超えていきます。FAQ回答が契約解釈になり、ローンチ時に測定された正確性がもはや適用されなくなります。

コンテンツもドリフトします。400文書で機能していた検索が、4,000文書では曖昧になり、正しい答えを結果から押し出すようになります。

これらの変化はアラートを引き起こしません。数ヶ月後に急激な増加、使用量の低下、または顧客からの苦情として現れます。その時点で修正費用は監視費用の何倍にもなります。

手軽で安価な防御策は、毎月50〜100のリアルインタラクションをサンプリングし、良い従業員が言ったであろう内容と比較してスコア付けすることです。そして時間の経過とともにそのスコアを追跡します。1人の人が半日の作業で毎月行うだけでも、上記のほとんどの失敗モードを早期に検出できます。

現実との接触に耐えられる予算

最初の2年間の年間実行コストは、構築コストの30〜50%と計画しましょう。20%未満の場合は、システムが放置されており、品質カーブにそれが反映されています。60%を超える場合は、構築時に未完了のままの部分があったか、使用ケースが実際にはより変動しやすいものだったことを示しています。

その金額を3つのバケットに分けます：使用量（モデル料金とインフラ、ボリュームに応じてスケールアップ）、管理（レビュー、監視、記録 - 概ね固定費）、変更（あなたのビジネスやベンダーのロードマップへの適応）。バケットは異なる行動をするので、ボリュームが2倍になったときに単一の集計数値が誤った判断を招かないようにしましょう。

そして責任者を決めましょう。AIシステムに責任者や定期的な予算ラインがない場合、維持管理されず、許容されるまで静かに放棄されます。それがこのプロセスをスキップすることの真のコスト - 過剰な支出ではなく、2回同じ構築費用を支払うこと - です。

構築前に実行率を計算し、後から調整しましょう。これは私たちがクライアントと行う最初の計算で、時としてクライアントが要求するより小さなシステムを推奨することにもなります。