人工智能預算：從提案到實際計費
大多數 AI 預算在啟動後就停止了。這個提案涵蓋了發現、構建、整合以及上線日期，然後系統運行兩年，但沒有人記錄下這兩年的成本。以下是實際出現在帳單上的內容。
模型費用：你可以計算的部分
模型費用按詞計費，大致上是每進一字和每出一字。一旦你做過數學計算，這些費用就會變得可預測。
假設一個內部支援助理每月處理 8,000 次對話，每次六個回合。這意味著 48,000 次模型調用，每次調用包含你的指令、檢索的文件和到目前為止的對話內容（約 5,000 個詞），返回大約 400 個詞。你每月購買 2.4 億個輸入詞和 1.9 千萬個輸出詞。在中級模型定價下，這將接近每月 1,000 美元，而重複指令的快取可以顯著降低成本。
兩件事讓人感到驚訝。首先，輸入佔了主要費用：你為所有發送的內容支付費用，每次回合，而長期上下文是你能控制的主要成本因素。第二，重試、評估運行和內部測試在生產流量上增加 15-30%。預算總額，而不是清潔數值。
模型按詞計費的價格一直下降。總支出通常會上升，因為使用量增長，而更新的模型被用於更艱難的工作。計劃根據體積，而不是根據價格。
提案中沒有包含的帳單項目
模型費用通常不是最大項目。運行成本的其他部分是人工智能系統需要的日常運營工作：
- 人為審核： 每週有人閱讀真實輸出樣本，並決定是否保持質量。對於面向客戶的系統，假設每周幾小時，永久性地。
- 模型基礎設施： 搜索索引、向量存儲、日誌記錄和保持文件最新的管道。個別上看微小，但總體上固定。
- 變更工作： 新產品、新政策和新邊緣案例系統處理不佳。預期會出現一小流穩定的調整，而不是偶爾的重大發布。
- 供應商變更： 模型在公開時間表上過時。遷移到後繼者意味著重新測試舊模型做得好的所有內容，通常每年一次。
- 合規和記錄： 保留、訪問控制和證明系統在三月向客戶說了什麼的審計軌跡。
漂移是讓人驚訝的項目
軟體會發出響亮失敗的信號。人工智能系統卻會安靜地退化，直到某人注意到為止。
你的業務首先出現漂移。價格變更、產品退役、政策重寫。系統繼續回答它被給的版本，流暢且錯誤地，直到有人發現為止。
你的用戶接下來也會漂移。一旦人們了解系統處理的內容，他們就會進入系統原本未涵蓋的領域。看似常見的問題答案變成合同解釋，而你在啟動時衡量的準確度不再適用於當時的情況。
你的內容也漂移。從 400 個文件中提取檢索變得模糊不清，因為更多近匹配將正確答案擠出結果。
這些都不會引起警示。它們會在幾個月後以上升的緊急程度、使用量的下降或一位客戶投訴的形式出現，該客戶根據系統提供的信息採取了行動。到那時修復成本高於監控費用。
防禦策略簡單且便宜：每月抽樣 50-100 次真實互動，將其與一個優秀員工可能說的話進行比較，並跟蹤得分隨時間變化。一位人員花半天時間完成這些任務。這種單純的習慣能夠捕捉到上述幾乎所有失敗模式，在它們還小之前。
能生存接觸現實的預算
計劃前兩年的年度運行成本為構建成本的 30-50%。低於 20%，系統被忽視了；質量曲線會反映出這種情況。高於 60%，要麼構建時留下太多未完成的工作，要麼使用案例比最初看起來更不穩定。
將這個數字分成三個桶：使用（模型費用和基礎設施、根據體積調整）、監管（審核、監控、記錄——大致固定）和變更（適應你的業務和供應商路線圖）。這些桶行為不同，所以一個混合的總數在體積雙倍時會誤導你。
然後指定一個負責人。沒有指定負責人和定期預算線的 AI 系統不會得到維護；它會被容忍直到被默默地放棄。這就是跳過這個過程的真正成本——不是超支，而是支付兩次構建費用。
在構建前計算運行率，而不是之後。這個數字經常會改變你決定構建的內容，正是它的用途。這是我們與客戶進行的第一個計算，有時也是我們建議較小系統而不是他們最初要求的系統的理由。