如何衡量人工智能項目的成功
大多數人工智能項目以演示和掌聲結束。但很少有項目在六個月後還能明確地說出是否節省了成本、贏得了客戶，或者只是增加了維護工具。問題往往不在於技術本身，而在於在開始項目前沒有定義成功的標準，因此成功被定義為項目產生的任何結果。
衡量人工智能項目並不複雜。它需要提前決定如果項目成功，業務會是什麼樣子，然後進行檢查。
在開始編寫代碼前定義「成功」
人工智能項目成功時，它改變了你已經關心的業務數字。不是準確度、不是響應質量，也不是抽象的「採用」，而是具體的數字：減少的手動工作時間、縮短的流程天數、發票中的錯誤率、每處理一個工單的成本、每位代表產生的收入等。
在項目開始前寫下這個數字和目標。例如，「系統應將報價準備時間從三天的時間縮減到一天的時間」是一個你可以驗證的主張。「系統將提高效率」是一個你只能同意的主張。如果團隊無法提出項目應該達成的具體數字，那麼項目還不夠成熟以獲得資金支持。
首先測量基線
如果沒有記錄下當前流程的運行情況，就無法顯示出改善的成效。在系統上線前，花一兩周時間捕捉當前流程的表現：任務需要多長時間、錯誤發生的頻率、成本是多少、誰來處理這些任務等。這是一項乏味的工作，也是人工智能採用過程中被跳過的單純步驟。
基線不一定要完美。十個對當前流程進行時長的測試範例比零強大。沒有這些數據，後續關於價值的每一次討論都會變成意見對意見的爭論。
評判結果，而非模型性能
技術團隊會報告技術指標——準確度、延遲時間、基線得分等。這些指標對他們很重要，但對領導層來說不該太重要。一個模型可能在95%的情況下準確，但仍然可能因為它對最重要的客戶出錯，或者員工在3月默默地停止使用它而失敗作為項目。
在領導層層面值得關注的指標包括：
- 輸出： 工作是否比基線快、更便宜或更好
- 採用率： 有多少合格的工作實際通過系統處理，以及這個比例是否正在增長或減少
- 異常情況： 人工是否需要干預、糾正或覆消——這些情況是否越來越少
- 信任度： 使用該系統的人是否會反對失去它
採用率特別值得關注。如果系統僅用於符合條件工作中的8%，那麼無論其準確度如何，它都沒有成功。使用量下降是最誠實的信號，比任何投訴都早出現，表明有問題。
計算全成本
建設成本是可見的部分。實際總成本包括持續性部分：訂閱和運算成本、員工審查輸出所花的時間、供應商更改API或系統建立過程發生變化時的維護等。一個每週節省二十小時但需要十個小時進行審查和維護的項目，其實際回報率只有標題上的一半。
在啟動後三個和六個月安排一次審核，並將全運行成本與測量到的收益進行比較。許多在啟動時看起來微不足道的項目在六個月後明顯積極；有些演示出色的項目則明顯負面。你希望知道哪種情況，以便在還來得及修或停止之前了解。
警惕退化
人工智能系統不是橋樑，不會永遠保持完好。數據、業務和API背後的模型會發生變化，而這些變化往往沒有通知。一個在1月運行良好的系統可能到7月悄然退化，因為輸出看起來合理，所以沒有人注意到，直到客戶有問題。
解決方案很簡單：保持一組已知的案例和已知正確答案，每月將它們通過系統進行測試。如果結果發生變化，你會從自己的檢查中發現，而不是從市場上得知。將這項任務分配給一名負責人。沒有人來檢查退化，就不會被發現。
一頁測試
如果一個人工智能項目成功，你應該能夠在一頁紙上陳述：基線、目標、測量結果、全成本和自啟動以來趨勢。如果無法寫下這頁，誠實的結論不是項目失敗，而是沒有人能確定——對業務來說，這意味著相同的結果。
這種衡量紀律比大多數團隊預期的要嚴格，但正是這種重量值得承擔——它區分了演示出色的人工智能和付出實際回報的人工智能。這也是Hercules A從一開始就納入的採用標準，所以「是否成功」這個問題總是有具體數字作為答案。