人工智能的十字路口：選擇 API 或自有硬體？
每家認真投入人工智能發展的公司都會面臨相同的難題。你可以向提供商的 API 發送請求並按使用量付費，或者購買硬件，自行運行開放模型並預先支付。雙方供應商都會告訴你答案很明顯，但事實並非如此。這取決於你的使用量、處理的數據以及你能承擔的運營權重有多大。
各選項的實際含義
透過 API，提供商運行模型。你的軟體發送文本，提供商回傳答案，然後根據使用量向你開具帳單。你可以使用最先進的可用模型，更新會自動到來，而你可以在今天開始使用。
在自有硬體下，你購買或租用配備強大 GPU 的伺服器，並在其中運行開放權重的模型。這些機器位於你的辦公室、數據中心或你控制的特定雲端帳戶中。除非你將數據發送出去，否則一無遺漏。
成本：量化轉折點
API 的價格看起來很便宜，因為它從零開始。一個每月處理幾千份文件的試用版成本低於一次團隊聚會。但這種情況不會持續太久。隨著使用量的增加，成本會直線上升，因此一個從試用轉為每個部門使用的系統，可能在一季內從無意義的小數點轉變為真正的預算線。
自有硬體則相反。你需要預先支付一大筆費用，之後每個額外的請求幾乎不花錢。無論機器處理十個請求還是十萬個請求，成本都是一樣的。它仍需承擔運行成本：電力、冷卻、替換零件以及有人花時間保持其健康的工時。這最後一個成本是多數公司低估的。
誠實的規則：如果你的使用量小、不可預測或仍在實驗階段，API 更便宜。但如果它是穩定且高量的日常運營，自有硬體通常在一年到三年內自償本金。在簽署任何協議前，請計算出真正的每月使用量。多數公司對雙方都猜錯了。
控制：決定變更誰來負責
提供商可以退役你依賴的模型，改變其行為方式，在繁忙週提高價格或限速你。他們通常提前通知。他們不需徵得你的同意。如果工作流程已調校到某種模型的怪癖上，強制升級可能悄無聲息地破壞它，直到輸出開始看起來不對。
在自有硬體下，你測試過的模型就是你運行的模型，只要你想運行多久就行。你選擇何時升級，也可以先將新版本與舊版本進行測試。這種穩定性對於那些需要向合同、合規報告或可能被監管機構要求解釋的過程至關重要。
控制這項成本是責任。當伺服器在凌晨 3 點故障時，沒有其他值班工程師接聽電話。
隱私：仔細閱讀合約，然後映射數據
主要 API 提供商提供商業條款，排除你的數據從模型訓練中使用，許多還提供區域數據居住權。對許多公司來說，這就足夠了。但「未用於訓練」並不等於「永遠不離開你們的建築物」。你的數據仍會跨越網絡，短暫地位於他人的基礎設施上，並受其保留政策和管轄範圍影響。
對於某些數據，這沒問題。但對於客戶法律文件、患者記錄、未公開財務資料或受到嚴格國家規則限制的個人資料，即使合約上寫著不用於訓練，也可能不行。自有硬體可以消除這種擔憂。沒有需要披露的數據轉移，也不需要第三方審計。
決定性的問題
在做出選擇前，請明確回答以下問題：
- 使用量： 目前每月請求數量以及如果項目成功一年後的數量？
- 數據敏感性： 哪些數據在法律和合約上可以離開你的系統？
- 能力需求： 任務是否需要市場上最強的模型，還是開放模型就能完成？
- 運營能力： 誰會維護、監控和修復硬件，他們有足夠的時間嗎？
- 對變更的容忍度： 如果底層模型在未警告的情況下改變，會造成什麼破壞？
大多數公司最終都會採用兩種方式
選擇很少是全無或完全有。一種常見且明智的模式是在自有硬體上運行敏感、高量、可預測的工作，並將偶爾的複雜或實驗任務發送到 API。內部文件搜索機密文件留在內部。一次性市場分析使用最強大的可租用模型。
從 API 開始學習什麼有效並測量實際使用量，然後將工作負載遷移到自有硬體上，一旦數字和數據規則得到證實。這就是 Hercules A 所做的工作，確定分界線並運行內部部分，但上述推理適用於任何進行此工作的公司。根據你的使用量、數據和能力做出決定，而不是最後一個與你交談的供應商說什麼就做什麼。