人工智能系統上線後的六個關鍵因素
當一個人工智能（AI）系統進入生產階段時，最棘手的問題並非它如何運作，而是它為何作出特定回應。客戶可能會質疑報價，審計師會詢問決策依據，團隊成員可能注意到本月摘要變差，卻無法確定開始時間。
在這一刻，你要麼擁有記錄，要麼就沒有；之後再重建是不可能的。今天重新提出相同問題，只會得到今日模型、今日提示和今日數據當下的答案，這並不能證明任何事情。
日誌記錄是從一開始就做出的決定。後續添加的日誌僅涵蓋接下來發生的事情。
影響回應的六個因素
AI回應源於一組小輸入。在每個呼叫中捕捉所有輸入：
- 請求：唯一ID、時間戳、提出請求的人或系統以及提交的文本或數據。
- 上下文：系統檢索並置入模型前所有文件、記錄或行，並個別識別，同時記錄每個版本的信息。
- 提示：提示模板加上實時組裝內容及其版本。
- 模型：精確的模型識別碼（而非家族名稱），以及使用的設置：溫度、令牌限制，以及可調用的工具。
- 輸出：原始回應（在任何清理前）和處理後的版本（如果兩者不同）。
- 後果：接下來發生的事情：顯示給用戶、發送給客戶、用於審核索賠，以及是否被個人接受、編輯或拒絕。
刪除上下文和提示，你將只剩下一半的對話。你可以看到系統回應了什麼，但無法確定為何該回應是合理的。
版本是常被忽略的部分
有三個因素在AI系統內部發生變化，而沒有人提交變更請求。某人編輯了提示模板；供應商更新了同一API名稱下的模型；知識庫重新索引，系統開始檢索不同文件來回答相同的問題。
這些變化可能影響質量，但不會出現在輸出日誌中。每次呼叫時記錄提示、模型和數據索引的版本識別號，那麼「好週與壞週之間有何不同」這個問題將輕鬆解答。沒有這些記錄，你需要花一周的時間猜測，而這通常會讓高級管理人員等待。
人為糾正是最佳信號
當一個人編輯AI草稿在發送前，他們已經用最具體的方式告訴了你錯誤所在。保存原始版本和編輯後的版本。
這樣做會有兩個後果。編輯率成為質量指標，並且比投訴提前。這些糾正累積成一組例子，可用於改進系統，來自你自己的工作，而不是購買或發明。
漂變是比較，而非警報
沒有任何方法會通知你輸出變差了。退化是漸進的，每個單獨的回答看起來都是合理的。
實際方法是保留一組固定真實請求（足夠100條，來自實際流量，涵蓋你的特殊情況），每個月在這些請求上運行一次。比較新答案與存儲的答案。在兩者不同時，一個人閱讀兩者並判斷哪個更好。這種方法只有在日誌保存輸入條件下才有效（這是日誌記錄的整個論點）。
結合你已經擁有的數據：編輯率、拒絕率、是否需要人類介入、系統找到相關文件的比例。通常，文件相關性下降表示你的數據過時了，而不是模型出現問題。
首先決定保留和紅行動作
這些日誌包含用戶輸入的所有內容，這意味著它們承擔著與任何其他個人數據相同的責任。根據輸入內容進行分類，對不需要可讀性的字段進行掩碼或代號處理，並將日誌存儲在應用程序之外，以防一個故障導致記錄丟失。
故意設定保留時間。對於具有合同或監管權重決定的案例，在暴露期間保存記錄，並確保該存儲為只寫模式，這樣就無法輕易修改歷史記錄。對於日常流量，更短的時間更好且更便宜。指定一個人負責政策。
儲存成本較低。實際成本在於將所有這些記錄集成到實時系統中，而你已經被要求解釋你無法說明的輸出。我們從一開始就建立這些記錄，因為它們是將AI系統從可信轉變為可以證明的系統的關鍵。