將人放在成本位置
並非所有人工智能輸出都需要審核，而審核所有輸出也保證不會真正關注任何一個。關鍵問題不是「這個是否重要」，而是「錯誤的代價是多少，我們能否挽回？」
一個可以自動運行的模型，例如起草內部會議筆記，不需要人為干預；一個壞筆記成本低且顯而易見。但一個模型負責設定客戶退款金額、填寫監管表格或向客戶發送電子郵件時，就需要人為檢查點，因為錯誤成本高昂且難以挽回。根據錯誤成本和逆轉困難度來排序你的人工智能決策。最高位置的人需要人為干預。其餘部分則可以自動化，並使用抽樣方法。
設計決策，而非快速瀏覽
檢查點只有在審核者能夠在有限時間內獨立做出判斷時才有效。這意味著介面必須提供更多信息，而不僅僅是顯示答案。
- 顯示推理或來源，而不是只顯示結論——從發票行獲取數字的條款或決策引用政策條款。
- 標記模型自身的不確定性，以便低信心案例受到更多審查，而非日常案例。
- 使拒絕操作與批准操作一樣簡單，並要求提供理由。如果「不」需要三個額外的點擊，「是」則只需一個，你就設計了一個橡皮印了。
- 給審核者足夠的背景信息來反對，但不要過於詳細，以免每個案例都花二十分鐘。根據審核者每項項目的可用時間進行校準。
如果審核者無法解釋為什麼他們批准了某樣東西，那麼他們沒有真正審核它。他們只是見證了它。
警惕靜默的失敗模式
人類監督最常見的問題是自動化偏差。當一個模型正確 95% 的時間時，審核者會學會信任它，而批准率會向 100% 漂移。那 5% 需要他們的人會滑過，因為發現錯誤需要保持懷疑，與強大的先驗假設一切都很好形成鮮明對比。
你不能用「保持警惕」的提醒來解決這個問題。你需要結構化。跟蹤審核者的覆核率——如果它下降到接近 0%，要麼模型變得更好，要麼人類停止了檢查，你需要知道哪個情況。定期插入已知的壞案例並檢查它們是否被捕獲。輪換審核者，避免疲勞。將從未拒絕任何事情的檢查點視為故障，而不是成功的檢查點。
確保權限真實存在
沒有權力阻止流程的人為檢查點只是裝飾。審核者需要一個真正的「不」來停止流程，將案例轉交給更高層級或觸發手動路徑——而組織必須接受這種情況有時會減慢流程的事實。如果領導層私下懲罰任何阻擋流程的人，審核者很快就會明白訊息並停止阻擋。你設計監督的努力會消失不見，只留下表面的控制和缺乏的實質。
提前決定在人類批准了人工智能錯誤決策時，誰負責結果。如果答案是「模型」，那麼你沒有真正將人放在檢查點上。你找到了一個可以歸咎的人。
規劃檢查點的變化
監督不是永久支付的費用。隨著你收集有關模型可靠性和不可靠性的數據，你可以將人類從他們永遠不會捕獲任何錯誤的案例中撤走，並將他們集中在實際發生覆核的案例上。檢查點應該隨著時間的推移而收緊或保持穩定，這取決於你從一開始就測量了覆核率和錯誤成本。只有這樣，你才能建立監督系統，而不是將審核者簡單地加到流程末尾並稱之為安全。
這是人工智能採用過程中不華麗的部分——檢查點、審計軌跡和對錯誤成本的誠實核算。這也是風險和價值真正存在的地方。在 Hercules A，這就是我們帶給你的：將監督建構到系統中，而不是將審核者簡單地加到末尾並稱之為安全。