人工智能项目有两个结局
第一个是启动，每个人都会庆祝。第二个则更为安静，几个月后出现，当供应商更改表格、法规发生转变，或模型版本退役，系统开始给出更差的答案时。此时问题简单：谁来修复它？
如果诚实的回答是“我们必须重新召回咨询师”，那么你并没有购买一个系统，而是一个租用的，计费仍在继续。
实际的所有权意味着什么
所有权不是最后一天交付的一堆文件。它是公司内部的四种实用能力：
- 运行它：有人知道如何检查系统今天是否正常工作，并在出现问题时得到通知。
- 更改它：有人可以调整规则、添加文档源或更新提示，而无需提交支持工单。
- 判断它：有人能够区分好输出和差输出，并提供证据而不是印象。
- 替换它：你了解系统依赖于什么、迁移成本以及谁才能完成这项工作。
大多数移交只提供了第一种能力，忽略了其他三种。这就是为什么系统会出现偏差。
重要的文档
文档是为了满足合同条款而编写的，因此描述着无人触及的建筑，并省略了人们实际需要的内容。保持列表简短，并坚持以下几点：
- 故障处理手册：最可能出现的前五件事、从外部看它们是什么样子以及每种情况的前三步。为值班人员编写，而不是为工程师编写。
- 评估集：100到200个真实案例及其每个正确答案，由执行该工作的人员同意。这是整个项目中最有价值的成果。
- 变更日志及原因：不仅记录配置了什么，还记录规则存在的理由。没有原因的规则会被下一个人员删除。
- 依赖和成本表：每个模型、API和供应商；每月成本；合同续约日期；如果消失会导致什么故障。
- 数据地图：数据去向、谁能访问以及保留时间。法律和安全团队可能会在没有预警的情况下需要这个。
其他内容可选。如果文档不能帮助某人运行、更改、判断或替换系统，它只是装饰品。
你需要的三个人
你不需要雇用一个机器学习团队。你需要三个被命名的个体，并在项目开始前，而非最后一个月命名他们。
- 业务所有者：决定系统应该做什么以及持有预算。他们批准变更并拒绝范围扩大。这不是一个技术性角色。
- 技术保管人：能够阅读配置、进行受控更改、测试并将其部署到生产环境。通常是一位现有的开发人员或IT工程师，有能力分配。他们不需要构建模型；他们需要能够修改和部署现有模型。
- 质量所有者：来自服务该系统的部门——高级索赔处理人、护士长或支持团队负责人。他们维护评估集并决定“好”是什么含义。没有这个角色，几周内质量就会成为主观问题。
总内部成本：通常是一份全职工作各一份，一旦系统稳定。失败模式不是开支。它是没有人被命名。
在可以还能抱怨时测试移交
不要接受文档作为移交的证明。在咨询师合同到期前几周进行一次现场测试。
选择一个真实的变更——将新产品添加到知识库、收紧关于系统拒绝回答什么的规则，或更换更新后的价格表。让你的团队自己完成，咨询师在场但保持沉默。计时它。然后让质量所有者运行评估集并确认没有其他问题。
如果你的团队在一天内完成，你就拥有了系统。如果需要一周时间且三个问题，你发现了在账单结束前需要关闭的差距。任何结果都比签署移交表格更有价值。
将这一点写入合同。移交里程碑、指定接收团队以及监督变更测试在工作开始前更容易谈判，而不是之后。
这是我们在Hercules A建造的方式，这意味着我们的项目有明确的结局。那就是目标。人工智能项目的好坏不是咨询师一年后嵌入的深度——而是你的团队在不调用任何人的情况下更改系统的信心。