修理または再建：AIシステムが終焉を迎えた5つの兆候

AIシステムの終焉

AIシステムは、決して死ぬことがなく、代わりに絶えず回答し、スコアを付け、毎朝ファイルを生成し続けます。チームはその周りを回り、変更要求が積み重なり、誰も成長を選択しないまま年間支出が増えていきます。システムの寿命は、維持費の増加というゆっくりとした過程で訪れ、これは決して議事日程に載らないような費用です。

そのため、決定は先延ばしされます。再構築は高額で混乱を招くように思えますが、継続するのは無料のようにも見えます。しかし、実際には無料ではなく、リーダーとしての役割は、維持費が交換コストを上回る瞬間を認識することです。

5つのシグナル

これらは、業界やシステムタイプに関係なく共通しています。いずれか一つでも警告として機能します。3つが組み合わさると、あなたの決断はすでに下されていることを意味します。

小さな変更がもはや小さくない：最初の年に2日で調整できた価格ルールが、今では3週間を要し、他の4つの要素に影響を与えます。システムには予測不可能な範囲の特殊ケースが蓄積しており、誰も変更の影響範囲を把握できません。
ワークアラウンドがプロセスになった：人々は出力物をエクスポートし、スプレッドシートで修正してから使用します。そのスプレッドシートには所有者、命名規則、バックアップがあります。実際のシステムはワークアラウンドであり、公式のものはデータソースです。
基本的な質問に答えられない：3月にこの顧客を拒否した理由は？数値がシフトしたときに実行されていたバージョンは？誰も1週間の調査なしには答えられず、規制や評判に対する未計上のリスクを負っています。
知識は1人または2人の人間にのみ存在する：すべての変更は同じ1人の人間の待ち受けます。彼らは何も隠しているのではなく、単に設計決定の唯一の生き残りコピーを持っているだけです。これは技術的なリスクとして偽装された人員リスクです。
制約が移動した：システムはもはや存在しない制限に基づいて構築されていましたが、文脈ウィンドウ、レイテンシーの上限、1回あたりの価格、3つのコンポーネントを必要としていた機能が1つで済むようになりました。維持しているほとんどのものは、問題が解決したために不要になったサマタです。

信号ではないもの

単一の悪い四半期の出力品質は通常データの問題であり、設計の問題ではありません。新しいモデルリリースは何も再構築する理由にはなりません；システムが適切に構造化されていれば、モデルを交換することは構成変更であり、それがビジネスに要求された変更でなかった場合でもテストすべきです。ノイズの多いインシデントも証拠ではありません—インシデントは目立つシステムではなく、脆弱なシステムに集まります。

重要な区別は、性能が悪いシステムと変更するのに高額なシステムの間で行われます。前者は修正可能ですが、後者は構造的な判断であり、どれだけパッチを当てても逆戻りすることはありません。

維持費を計上し、再構築だけでなく更新も考慮する

再構築提案は、一方の側だけが数字を持つため失敗します。決定前に両方の側を計上しましょう。

過去12ヶ月間に現在のシステムが消費した金額を合計します：メンテナンスとインシデントに費やしたエンジニアリング時間、ベンダーおよび計算請求書、ユーザーが手動で修正に費やす時間、ビジネスが要求したが実現しなかった変更の価値。最後の項目は通常最も大きく、ほとんど数値化されていません。2年前の同じ12ヶ月と比較して、出力が平らなのに支出が増加している場合、あなたの答えが見つかります。これは取締役会で議論される唯一の通貨です。

スライスごとに再構築し、データを保持する

再構築は2年間のプログラムではなく、切り替え日が1つの週末に集中しないように設計されたものです。うまく置き換えられるシステムは、1つの機能ずつ置き換えます：新しいパスを立ち上げ、狭いトラフィックのスライスに対して古いものと並行して実行し、実際のケースで出力を比較し、スライスを切り替え、繰り返します。古いシステムは最後のスライスが切り離されるまで稼働し続けます。ビジネスが単一の切り替え週末に依存することはありません。

保持する価値のある唯一のものはデータです—ラベル付きの例、修正、システムが間違えた方法と人々がそれを修正した記録。この蓄積された判断が真に貴重な資産です。コードは置き換えられるかもしれませんが、いつかは置き換えるべきです。

ほとんどの組織は1年ほど遅すぎます。その1年間のコストはめったに見えないため、測定する必要があります。私たちはクライアントのためにこの負担を背負ってきましたが、測定はあなたが行うべきであり、次の予算サイクルよりも前に行う価値があります。