人工智能系統幾乎從未以迫使決策的方式死亡
它會持續回答、得分，並每天生成一個文件。同時，團隊會繞過它，變更請求堆積起來，年度支出在沒有人選擇增長的情況下不斷增加。生命週期結束時，是隨著保持該系統的成本逐漸增加而來，這正是從未出現在議程上的費用類型。
因此，決策被延遲了。重建聽起來很昂貴且干擾；繼續使用看起來免費。它並非免費，而領導者的工作在這裡是注意到當承載成本超過更換時那一刻。
五個信號
這些信號在不同行業和系統類型中都保持一致。任何一個都是更仔細檢查的提示。三個一起出現意味著決策已經為你做出了。
- 小變更不再小。 最初一年調整價格規則需要兩天時間，現在需要三週，並影響到四個其他事物。該系統累積了足夠多的特殊案例，沒有人能預測一次變更的爆炸範圍。
- 繞路方式成為流程。 人們將輸出導出並用試算表進行修正，然後才供他人使用。這個試算表現在有擁有者、命名約定和備份。實際系統是繞路方式；官方系統是一個數據來源。
- 你無法回答關於它的基本問題。 3 月該系統為何拒絕了這位客戶？在數字發生變化時，哪個版本正在運行？如果沒有花一周時間挖掘，你就承擔了監管和聲譽風險，而這些風險是未計入的。
- 知識僅存在一兩個人身上。 每次變更都依賴於同一個人。他們並不隱藏任何東西；他們只是設計決策的唯一倖存副本。這是一種以技術為掩護的人員配置風險。
- 限制已改變。 該系統是建立在不再存在的限制之上——上下文窗口、延遲上限、每通電話費用、需要三個組件的能力，現在只需要一個。你維護的大部分只是為了解決已消失的問題的支架。
什麼不是信號？
單個不好的輸出質量季度通常是一個數據問題，而非設計問題。新模型發布並不能重建任何東西；如果你的系統結構良好，更換模型應僅是配置變化，你應該測試它是否有效。一個嘈雜的事故也不是證據——事故往往聚集在顯著系統周圍，而非脆弱系統。
重要的是區分一個表現不佳的系統和一個變更昂貴的系統之間的差異。第一個是可修正的。第二個是一個結構性判決，任何修補都無法逆轉它。
計價承載成本，而非僅重建
重建提案因只計算一方而失敗。在做出決定前，請為另一方計價。
將過去十二個月內當前系統消耗的總和：維護和事故上的工程小時數、供應商和運算賬單、下游人員手動糾正的時間，以及業務要求且未實現的變更價值。最後一個項目通常是最大的，幾乎從未被計算。然後看看兩年前的相同十二個月。如果輸出平穩而線條上升，你就找到了答案，而這正是董事會用貨幣辯論的答案。
按片重建，並保留數據
重建並不意味著進行為期兩年的計劃，並設置切換日期。能良好替換的系統是按照一個能力一個片區進行替換：建立新的路徑供少量流量使用，在舊系統和新的系統旁運行，比較實際案例的輸出，將片區切換過來，重複上述步驟。舊系統直到最後一個片區切換完成前仍保持運行。在任何時刻，業務都不會依賴於一次週末大切換。
唯一值得保留的是數據——標記示例、糾正、系統錯誤記錄以及人們如何修正它們的記錄。這份累積的判斷是真正有價值的資產。周圍的程式碼可以替換，最終應該被替換。
大多數組織等待約一年太久。那一年的成本很少顯現，這正是為何需要計量它。我們的實踐是根據為客戶承載該重量而建立，但計量工作由你來做，最好在下一個預算週期前而非之後進行。