如何衡量人工智能项目成功
大多数人工智能项目以演示和掌声告终。但很少有项目在六个月后能给出是否节省了成本、赢得了客户或只是增加了维护工具的答案。问题往往不在于技术本身，而在于没有提前定义成功标准。
评估人工智能项目并不复杂。只需在项目开始前决定业务在项目成功后应有的样子，然后进行检查即可。
在编写代码前定义“成功”
人工智能项目成功时，它会改变你已经关心的一个商业指标。不是准确性、响应质量或抽象的“采用率”，而是具体的数字：减少的手工工作时间、缩短的过程天数、发票中的错误率、每处理一张票的成本、每个代表产生的收入。
在项目开始前写下这个数字和目标。例如，“系统应将报价准备时间从三天的时间缩短到一天的时间”是一个你可以验证的声明。“系统将提高效率”是一个你只能同意的声明。如果团队无法给出项目应达到的目标，那么该项目还不具备资金启动条件。
首先记录基线
如果没有记录基线，就无法展示改进。在系统上线前，花一周或两周时间记录当前流程的表现：任务需要多长时间、错误发生频率、成本、谁处理这些任务。这是一项乏味的工作，也是人工智能采用过程中被跳过的最常见步骤。
基线不需要完美。十个计时示例比零更重要。没有基线，后续关于价值的每一次讨论都会变成意见对意见的争论。
评估结果，而非模型性能
技术团队会报告技术指标——准确性、延迟、基准分数等。这些指标对他们很重要，但对领导层来说不应太重要。一个模型可能在95%的情况下准确，但在项目中仍可能失败，因为它处理的5%错误影响了最重要的客户，或者员工在3月悄然停止使用该系统。
在领导层层面值得关注的四类指标是：
- 输出：工作是否比基线快、更便宜或更好
- 采用率：多少可用的工作实际通过系统处理，以及这个比例是否在增长或下降
- 异常情况：人类需要干预、纠正或推翻的频率，以及这些情况是否越来越少
- 信任：使用该系统的用户是否会反对失去它
采用率尤其值得关注。如果系统仅处理8%的可用工作，那么无论其准确性如何，它都未成功。使用量下降是最诚实的信号，比任何投诉都早出现。
计算全成本
构建成本是可见的部分。实际总成本还包括持续的费用：订阅和计算成本、员工审查输出所花费的时间、供应商更改API或系统构建过程发生变化时进行维护。一个每周节省二十小时的项目，但需要十个小时用于审查和维护，其实际回报只有头条新闻的一半。
在启动后三个月和六个月时安排一次复盘，将全运行成本与测量收益进行比较。许多在启动时看起来微不足道的项目在六个月后明显积极；有些演示得很棒的项目则明显负效。你需要在还能修复或停止之前知道哪种情况属于你。
警惕退化
人工智能系统不是桥梁，不会一直保持完整。数据、业务和API背后的模型都会发生变化，没有预先通知。一个在1月表现良好的系统到7月可能悄然偏离轨道，因为输出看起来仍然合理，直到客户发现问题。
解决方案很简单：保持一组已知的案例和正确答案，每月将这些案例通过系统处理。如果结果出现偏差，你会从自己的检查中发现问题，而不是依赖市场反馈。将这项任务分配给一名特定人员。没有人负责检查退化的情况，就不会被发现。
一页测试
如果一个人工智能项目成功了，你应该能够在一页纸上陈述：基线、目标、测量结果、全成本和自启动以来的趋势。如果无法写出这页内容，诚实的结论不是项目失败，而是没有人能确定——对业务来说，这意味着同样的结果。
这种衡量纪律比大多数团队预期要严格，但正是这一重量值得承担——它区分了演示良好的人工智能和付出回报的人工智能。这也是Hercules A从一开始就构建进去的一部分，因此“它是否成功”这个问题总是有具体的数字作为答案。