内部 AI 工具的错误成本与客户面对面工具的比较
一个内部 AI 工具出错，会让你损失一小时；一个面向客户的工具出错，可能导致退款、投诉或社交媒体上的截图。工程上类似，但曝光度不同。
大多数团队在系统准备好进行首次真实对话之前，就已经急于推出产品。在系统开始对话前，请解决以下问题。
写下系统被允许做的事情
不是它能做的事情，而是它被允许做的事情。这两种清单不同，只有第二种清单能保护你。
要具体且机械。"回答关于订单状态、发货时间和退货政策的问题"是一个范围。"处理客户服务"不属于这个范围。然后写下第二份清单：系统绝对不能独立采取的行动。超出一定额度的退款、确认价格、就医疗、法律或财务结果做出声明、更改账户信息、承诺交付日期等。
如果请求超出第一个清单的范围，系统应将任务交给人类。这个规则应该在系统中实现，而不是依赖于模型当下的判断。
决定不懂时该怎么办
每个面向客户的部署都需要一个明确的处理流程。对话应该转到哪里去？多快？客户等待期间会看到什么？
在测试其他功能之前，先测试交接。人类代理是否会收到完整的对话，还是客户需要重复说明？周日晚上11点没有人值班时，交接是否有效？一个无法处理空队列的系统比没有系统更糟糕，因为客户已经花了五分钟到达那里。
测试真实案例，而非自己想象的最佳案例
从过去一个季度的真实客户对话中抽取一百条记录。不是简单的问题——是生气的、模棱两可的、客户错误的、你的第二语言或第三语言的对话。将这些对话输入系统并亲自阅读每个响应（或者让处理这些案例的团队今天阅读它们）。
寻找具体失败的短列表：
- 对系统没有来源的问题给出自信的回答
- 政策陈述略有错误：正确的想法，但错误的数字或截止日期
- 当客户生气时，语气平淡或变得尖锐
- 任何看起来像公司需要遵守承诺的内容
- 行为在不同语言中变化
你不是寻找准确率，而是寻找错误的模式，以便决定哪些错误可以接受。
告诉用户他们正在与 AI 系统对话
多个市场的监管机构现在要求这样做，客户也会猜到。被惩罚的公司是那些试图隐藏这一点的公司。
同时，确认对话数据的处理方式：存储位置、保留时间、是否离开你的管辖区以及是否用于训练。法律和数据保护团队在启动前应签署同意。
让失败可见
记录每一次对话并每周抽样阅读——真正阅读它们，从开始到结束。设置警报，关注重要的信号：升级率、客户重复说明的对话、掉落率和提及助手的投诉数量。
选择一个你将根据这个数字判断系统的指标，并在启动时就确定好。决定在压力下三个星期后出现问题是不合理的。
指定负责人并设置关闭开关
一个人在生产环境中负责这个系统，用名字和权限来关闭它。关闭系统应需要一个操作且不超过一分钟，并且有人应该已经练习过。如果关闭助手需要部署，你就没有关闭开关——你只有希望。
逐步推出
在一个频道、一种语言、一个问题类别上启动，流量占总流量的10%。随着每周审查变得无聊时，逐渐扩大范围。推出范围广泛且回滚的团队很少得到第二次尝试的批准。
这些都不是奇特之处。这是你会对任何代表你公司的系统应用的一般纪律——这正是这个系统的作用。我们为那些不自己搭建框架的客户承担这一责任，但清单同样适用于你自己的手中。