人工智能系统几乎从不以迫使做出决定的方式死亡
它会继续回答、继续得分、每天产生一个文件。与此同时，团队会绕过它，变更请求堆积如山，年度支出在没有人选择增长的情况下不断增加。生命周期的结束是随着保持该系统的成本逐渐上升而到来，而这种成本通常不会出现在议程上。
因此，决定被推迟了。重建听起来很昂贵且破坏性；继续运营听起来免费。它不是免费的，而领导者的工作是在这里注意到携带成本超过替换的那一刻。
五个信号
这些信号在不同行业和系统类型中都有效。任何一个都是进一步调查的提示。三个一起出现意味着决定已经为你做出了。
- 小变化不再小。 曾经在第一年调整需要两天的定价规则，现在需要三周时间，并且影响到四个其他事物。该系统积累了足够多的特殊情况，以至于没有人能够预测一次变化的爆炸范围。
- 工作绕路成为流程。 人们将输出导出并用电子表格进行修复，然后再由其他人使用。这个电子表格现在有所有权、命名约定和备份。实际系统是绕路；官方系统是一个数据源。
- 你无法回答关于它的基本问题。 为什么在三月拒绝了这个客户？当数字发生变化时，哪个版本正在运行？如果没有花一周的时间进行考古，你就承担了监管和声誉风险，而这些风险你还没有计算过。
- 知识存在于一个人或两个人中。 每次变更都依赖于同一个人。他们并不隐藏任何东西；他们只是设计决策的唯一幸存副本。这是一个伪装成技术问题的员工配置风险。
- 约束已经改变了。 该系统是围绕一个不再存在的限制构建的——上下文窗口、延迟上限、每通话价格、需要三个组件的能力，现在只需要一个。你维护的大部分只是为解决一个已经消失的问题而搭建的框架。
什么不是信号
单个糟糕的输出质量季度通常是数据问题，而不是设计问题。新模型发布并不是重建任何东西的原因；如果你的系统结构良好，更换模型是一个配置更改，你应该测试它是否有效。一次噪声事件也不是证据——事件聚集在可见系统中，而不是脆弱系统中。
重要的是区分一个表现不佳的系统和一个变得昂贵易于变化的系统。第一个是可以修复的。第二个是一个结构性裁决，没有任何补丁可以逆转它。
计价携带成本，而非仅重建
重建提案因为只计算了一方账单而失败了。在决定之前，把另一方的数字也算上。
将过去十二个月当前系统消耗的总和计算出来：工程小时数用于维护和事件处理、供应商和计算账单、下游人员手动纠正所花费的时间，以及业务要求但未实现的更改的价值。最后一项通常是最大的，而且几乎从未被计算过。然后看看两年前的相同十二个月。如果输出水平保持不变而成本线在上升，你就找到了答案，而这个答案是用董事会讨论的货币来表达的。
以切片方式重建并保留数据
重建并不意味着一个持续两年的计划，有一个切换日期。能够良好替换的系统是一次性替换一个功能：为狭窄流量站立新路径，在旧路径旁边运行它，比较真实案例下的输出结果，将狭窄切片切换到新路径上，重复这个过程。旧系统保持运行直到最后一个切片离开。在任何时候，业务都不会依赖于一次周末大切换。
唯一值得保留的是数据——标记示例、纠正、记录系统错误以及人们如何纠正这些错误的记录。这种累积的判断是真正有价值的资产。代码可以替换，但某个时刻应该被替换。
大多数组织等待大约一年太久了。这一年的成本很少可见，这正是需要测量它的原因。我们建立了一种基于为客户承载这种重负的实践，但测量工作由你来做，最好在下一个预算周期之前而不是之后进行。