将人类置于成本中心
并非所有人工智能输出都需要审查，而审查所有输出也不会保证它们得到真正的关注。关键问题不是“这是重要吗”，而是“错误的代价是多少，我们能否挽回？”
一个可以无人监控的模型是生成内部会议记录；一个错误的记录便宜且明显。但一个模型负责设置客户退款金额、填写监管表格或给客户发邮件，则需要检查点，因为错误成本高昂且难以挽回。根据错误带来的成本和逆转难度对AI决策进行排序，将最高风险的案例置于人类审查之列。其余案例可通过采样运行。
设计决策，而非快速浏览
检查点只有在审查者能够在有限的时间内独立做出判断时才有效。这意味着界面不仅仅展示答案，还需要提供更多信息。
- 显示推理或来源，而不仅仅是结论——从发票行获取数字的账单行，从政策条款引用决策。
- 标记模型自身的不确定性，使低信心案例受到更多审视，而非常规案例。
- 让拒绝与批准同等简单，并要求提供理由。如果“拒绝”需要三个额外点击，“批准”只需一个，那么你设计了一个橡皮图章。
- 提供足够的上下文供审查者提出异议，但不要过多到每个案例都需要20分钟。根据审查者每项任务的可用时间进行校准。
如果审查者无法解释为什么批准了某样东西，那么他们没有真正审查它。他们只是见证了它。
警惕静默的失败模式
人类监督最常见的衰落方式是自动化偏见。当模型正确率达到95%时，审查者开始信任它，而批准率会逐渐接近100%。那些需要审查的5%案例会被忽略，因为发现它们需要保持怀疑态度，与强烈的先验假设相矛盾，即一切都很好。
你不能用“保持警惕”的提醒来解决这个问题。你需要通过结构来解决。跟踪审查者的超时率——如果它接近于零，要么模型变得更好了，要么人类停止了检查，而你需要知道哪种情况。定期插入已知的坏案例并检查它们是否被抓住。轮换审查者，防止疲劳。将一个从未有过拒绝记录的检查点视为故障，而非成功案例。
让权力真实存在
一个在流程中没有停止权力的人类是装饰品。审查者需要拥有真正的“不”权力，可以停止流程，将案件路由到更高层级的人员或触发手动路径——而组织也需要接受这样做可能会有时会减慢流程的事实。如果领导层私下惩罚任何阻挡通过的人员，审查者会很快明白信号并停止阻挡。你设计中的监督将消失，而只留下控制的外表和没有实质的内容。
提前决定在人类批准了坏AI决策时谁拥有结果。如果答案是“模型”，那么你并没有真正让人类参与进来。你找到了一个可以责备的人。
规划循环的变化
监督不是永久支付的固定成本。随着你收集有关模型可靠性和不可靠性的数据，可以将人类从它们永远不会抓住任何错误的案例中撤出，并集中精力在实际发生超时的地方。循环应该随着时间的推移而收紧或保持不变，这只有在你从一开始就测量了超时率和错误成本的情况下才能实现。
这是AI采用过程中不那么光鲜的一面——检查点、审计线索、对错误的诚实核算。这也是风险和价值真正存在的地方。在Hercules A，我们做的是将监督构建到系统中，而不是将一个审查者附加到末尾并称之为安全。