內部 AI 工具的錯誤成本與客戶面對面的挑戰
一個內部 AI 工具造成的錯誤會讓你損失一小時；而一個面向客戶的工具則可能導致退款、投訴，或在社交媒體上被截圖曝光。工程可能相似，但風險卻大不相同。
大多數團隊在系統準備好進行首次真實對話之前，就急於推出產品。以下是在系統開始處理實際對話前需要解決的問題：
定義系統可做和不可做的事
不是它能做什麼，而是它被允許做什麼。這兩種清單不同，只有後者才能保護你。
要具體且機械化。"回答有關訂單狀態、運費和退貨政策的問題" 是一個範圍；"處理客戶服務" 則不屬於範圍。然後寫下第二個清單：系統絕不能自行採取的行動。超出一定門檻的退款、確認價格、對醫療、法律或財務結果做出聲明、更改帳戶詳細資訊、承諾交付日期等。
如果請求超出第一個清單的範圍，系統應該轉交給人來處理，而不是依賴模型當下的判斷。
決定不了解時該採取的行動
每一次面向客戶的部署都需要一個明確的流程。對話會傳給誰、以什麼速度傳給、以及等待期間客戶會看到什麼。
在測試其他功能之前，先測試轉交機制。人為代理是否會收到完整的對話內容，還是客戶需要重複說明？轉交是否能在週日深夜（沒有人值班時）順利進行？一個無法有效轉交的系統比沒有系統還糟，因為客戶已經花了五分鐘到達這個點了。
測試最真實的案例，而非自己編造的最佳案例
從過去一個季度的百個真實客戶對話中抽取資料。不是容易的對話——是憤怒的、模糊不清的、客戶錯誤的、你的第二或第三語言中的對話。將這些對話輸入系統並讓你或團隊成員（負責處理這些案例的人）親自閱讀每則回應。
尋找特定的失敗模式：
- 對系統沒有來源的問題給予自信的回答
- 政策略有錯誤：正確的想法，但錯了數字或截止日期
- 在客戶生氣時語氣過平或過銳
- 任何讀起來像公司需要遵守承諾的內容
- 客戶用不同語言寫作時的行為變化
你不是尋找準確率，而是尋找錯誤模式，以便決定哪些錯誤可以接受。
告知用戶是與 AI 對話
多個市場的監管機構現在要求在開始時告知用戶他們正在與 AI 系統對話，客戶也會自行推斷出來。被處罰的公司往往是那些試圖隱瞞的人。
同時，確認對話資料的處理方式：儲存位置、保留時間、是否離開你的管轄區以及是否用於訓練。法律和數據保護團隊應在推出前簽署同意書，而非在收到第一個主體訪問請求後。
讓失敗可見
記錄每一次對話並每周抽樣閱讀——真正閱讀，從開始讀起。設置對重要信號的警報：升級率、客戶重複說明的對話、斷線和提及助理的投訴量。
選擇一個衡量系統的標準數字，並在推出時就同意這個標準。偏離率、解決率、首次響應時間和處理對話的滿意度等。同意在壓力下（三週後）表現不佳會導致撤回批准。
指定所有者並建立關閉開關
一個具名的人負責生產中的系統，並有權關閉它。關閉助理應該只需一個動作且不超過一分鐘，並且有人應該已經練習過這個動作。如果關閉助理需要部署，你就沒有關閉開關——你只有希望。
從狹小範圍開始
在一個頻道、一種語言、一個問題類別和十 percent的流量上推出，然後根據每周回顧逐漸擴大。廣泛推出並撤回的團隊很少能獲得第二次批准。
這些都不是奇特的事。這是你會對任何代表你公司的系統（就像這一樣）進行的普通紀律。我們為不願意自己搭建框架的客戶承擔這種責任，但檢查清單也適用於你自己的手上。