निर्माण के बाद बिल: एक एआई सिस्टम चलाने की वास्तविक लागत क्या है?

AI बजट: एक व्यावहारिक दृष्टिकोण

अधिकांश AI बजट लॉन्च के साथ समाप्त हो जाते हैं। प्रस्ताव में खोज, निर्माण, एकीकरण और जावाबद्धता तिथि शामिल है, फिर प्रणाली दो वर्षों तक चलती है, लेकिन किसी ने भी उन दो वर्षों की लागत का विवरण नहीं लिखा। यहाँ वास्तव में उस बिल पर लैंड करता है जो आपको चुकाना पड़ता है।

मॉडल बिल: आप जो गणना कर सकते हैं वही हिस्सा

मॉडल शुल्क प्रति टोकन के आधार पर लिए जाते हैं - लगभग प्रति शब्द इन और प्रति शब्द बाहर। यदि आप इस गणित को एक बार करते हैं, तो वे अनुमानित हो जाते हैं।

उदाहरण के लिए, आंतरिक समर्थन सहायक जो 8,000 संवादों का प्रबंधन करता है प्रति माह, छह मुड़ के साथ। यह 48,000 मॉडल कॉल के बराबर है, जिसमें आपके निर्देश, पुनर्प्राप्त दस्तावेज़ और बातचीत तक अब तक शामिल है - लगभग 5,000 टोकन इन और लगभग 400 टोकन आउट। आप 240 मिलियन इनपुट टोकन और 19 मिलियन आउटपुट टोकन प्रति माह खरीद रहे हैं। मध्य-स्तरीय मॉडल की कीमतों पर, यह लगभग $1,000 प्रति माह का है, और प्रॉम्प्ट कैशिंग दोहराए गए निर्देशों पर इसका अर्थपूर्ण कटौती कर सकती है।

दो चीजें लोगों को आश्चर्यचकित करती हैं: पहला, इनपुट प्रभुत्व: आप हर भेजे गए चीज़ के लिए भुगतान करते हैं, हर मुड़ के लिए, और लंबा संदर्भ आपके नियंत्रण में मुख्य लागत को जाल है। दूसरा, पुनरावृत्ति, मूल्यांकन चल और आंतरिक परीक्षण, उत्पादन यातायात के शीर्ष पर 15-30% जोड़ते हैं। बजट को ग्रॉस संख्याओं के आधार पर बनाएं, न कि साफ़ संख्याओं के।

मॉडल प्रति टोकन की कीमतें लगातार गिरी हैं। कुल खर्च आमतौर पर बढ़ जाता है क्योंकि उपयोग बढ़ता है और नए मॉडल कठिन काम के लिए इस्तेमाल किए जाते हैं। आयतन के लिए न दरों के लिए योजना बनाएं।

बिल जो कोई भी प्रस्ताव में नहीं डालता

मॉडल शुल्क आमतौर पर सबसे बड़ी रेखा नहीं होती। अन्य चल लागत सामान्य संचालन कार्य है जो AI प्रणालियों को अधिक की आवश्यकता होती है:

मानव समीक्षा: किसी नमूने के वास्तविक आउटपुट की हर सप्ताह एक पठन करता है और निर्धारित करता है कि गुणवत्ता बनी हुई है या नहीं। ग्राहक-सामने वाली प्रणाली के लिए, इसे सप्ताह में कुछ घंटों की उम्मीद करें।
मॉडल के आसपास की बुनियादी सुविधा: खोज इंडेक्स, वेक्टर स्टोर, लॉगिंग और आपके दस्तावेज़ों को अद्यतन करने के लिए पाइपलाइन। व्यक्तिगत रूप से छोटा, लगातार है।
परिवर्तन का काम: नए उत्पाद, नई नीतियां, नई सीमाएं जिन्हें प्रणाली बुरी तरह से संभालती है। एक छोटी, लगातार धारा की बजाय अपेक्षा करें, न कि दुर्लभ बड़े रिलीज़ के।
प्रदाता परिवर्तन: मॉडल प्रकाशित समय सूचियों के अनुसार अप्रचलित हो जाते हैं। उत्तराधिकारी के लिए सब कुछ फिर से परीक्षण करना आमतौर पर प्रति वर्ष एक बार होता है।
अनुपालन और रिकॉर्ड: संरक्षण, पहुँच नियंत्रण और मार्च में प्रणाली द्वारा ग्राहक को दिए गए उत्तर का ऑडिट ट्रेल।

ड्रिफ्ट वह आइटम है जो लोगों को आश्चर्यचकित करता है

सॉफ़्टवेयर तेज़ी से विफल होता है। AI प्रणालियाँ शांति से विफल होती हैं, और वे पूरे रास्ते आत्मविश्वास के साथ ऐसा करती हैं।

आपका व्यवसाय पहले ड्रिफ्ट करता है। मूल्य बदल जाते हैं, एक उत्पाद सेवानिवृत्त हो जाता है, एक नीति पुनर्लेखित की जाती है। प्रणाली आपको दी गई संस्करण से उत्तर देती रहती है, ध्वनि रूप से और गलती से, जब तक कि कोई इसे नोटिस नहीं करता।

आपके उपयोगकर्ता अगले ड्रिफ्ट करते हैं। एक बार जब लोग प्रणाली द्वारा संभाले जा सकने वाले क्षेत्रों से परे कुछ करना शुरू कर देते हैं, तो ट्रैफ़िक FAQ उत्तर देने से अनुबंध व्याख्या में बदल जाता है, और आपके पास लॉन्च के समय मापे गए सटीकता का वर्णन नहीं करता है।

आपका सामग्री भी ड्रिफ्ट करती है। 400 दस्तावेज़ों पर खोज के लिए प्रशिक्षित 4,000 के लिए अधिक समानांतर मिलते हैं, क्योंकि अधिक निकटतम मिलान सही उत्तर को बाहर धकेल देते हैं।

इन सभी को कोई अलर्ट नहीं देता। यह महीनों बाद बढ़ते संचालन, गिरते उपयोग या एक ग्राहक की शिकायत में दिखाई देता है जिसने प्रणाली के कहने पर कार्रवाई की। उस समय सुधार करने की लागत आपके मूल निवेश से अधिक होगी।

रक्षा अप्रतिष्ठित और सस्ती है: प्रति माह 50 से 100 वास्तविक बातचीत का नमूना लें, उन्हें एक अच्छे कर्मचारी द्वारा कहे गए उत्तरों के खिलाफ स्कोर करें, और समय के साथ स्कोर का ट्रैक रखें। एक व्यक्ति को आधे घंटे में यह सब करने की ज़रूरत है, हर महीने। यह एकल आदत लगभग हर विफलता मोड़ को पकड़ लेती है जबकि यह अभी भी छोटा है।

एक बजट जो वास्तविकता के संपर्क में रहता है

प्रथम वर्षों के लिए चल लागत के लिए 30-50% निर्माण लागत की योजना बनाएं, फिर दूसरे वर्षों के लिए 20% से कम। 30% से नीचे का आंकड़ा प्रणाली के लिए उपेक्षा का संकेत देता है; 60% से अधिक इसका अर्थ है कि निर्माण में बहुत कुछ अनिश्चित छोड़ दिया गया था या उपयोग मामला वास्तव में जितना यह लग रहा था, उससे अधिक अस्थिर है।

इसे तीन बक्सों में विभाजित करें: उपयोग (मॉडल शुल्क और बुनियादी ढांचा, पैमाने के साथ बढ़ना), रखरखाव (समीक्षा, निगरानी, रिकॉर्ड - लगभग निश्चित), और परिवर्तन (आपके व्यवसाय और आपके आपूर्तिकर्ता की योजनाओं में अनुकूलन)। बक्से अलग-अलग व्यवहार करते हैं, इसलिए एक ही आंकड़े का उपयोग करके आपने जो निर्णय लिया वह शायद दोगुना हो जाएगा जब मात्रा दोगुनी हो जाएगी।

फिर एक मालिक का नाम लगाएं। AI प्रणाली जिसके पास कोई मालिक नहीं है और बजट लाइन नहीं है, उसे बनाए रखा नहीं जाएगा; इसे सिर्फ़ सहन किया जाएगा जब तक कि यह धीरे-धीरे छोड़ दिया नहीं जाता। यह वास्तविक लागत है जो इस अभ्यास को छोड़ने से उतरती है - अतिरिक्त निर्माण के बजाय, दोहराव।

कार्य दर को निर्माण से पहले बजट में निकालें, न कि बाद में। यह संख्या अक्सर आपको ग्राहक को बनाने का निर्णय लेते समय दूसरी बार होगी।