एक AI परियोजना के वास्तव में काम करने का कैसे मापन करें?

एक नंबर से पहले ही "काम किया" निर्धारित करें

AI परियोजना तब सफल मानी जाती है जब वह आपके द्वारा पहले से ही ध्यान में रखे गए एक व्यावसायिक नंबर को बदल देती है। सटीकता, प्रतिक्रिया गुणवत्ता या "स्वीकृति" नहीं, बल्कि एक नंबर: मैन्युअल काम के घंटों को हटाया गया, प्रक्रिया से दिन कम हुए, बिलिंग में त्रुटि दरें, प्रति निपटाए गए टिकट की लागत, या प्रति एजेंट राजस्व।

परियोजना शुरू होने से पहले इस नंबर और लक्ष्य को लिखें, "प्रणाली उद्धरण तैयारी समय को तीन दिन से एक दिन तक कम करेगी" जैसा एक दावा जिसे आप सत्यापित कर सकते हैं। "प्रणाली दक्षता में सुधार करेगी" एक ऐसा दावा जिसके लिए आपको सहमत होना पड़ सकता है। यदि टीम परियोजना को आगे बढ़ाने के लिए उस नंबर को नाम नहीं लगा सकती, तो परियोजना तैयार नहीं है।

बेसलाइन पहले मापें

आप सुधार को बेसलाइन के खिलाफ नहीं दिखा सकते जिसे कोई दर्ज नहीं कर रहा था। प्रणाली लाइव होने से पहले, एक सप्ताह या दो सप्ताह बिताकर प्रक्रिया आज कैसे चल रही है, इसे रिकॉर्ड करें: कार्यों को पूरा करने में लगने वाला समय, गलतियाँ होने की आवृत्ति, उनकी लागत, और उन पर कौन काम करता है। यह ग्लैमरस नहीं है, लेकिन AI अपनाने में सबसे अधिक छोड़ दिया गया कदम है।

बेसलाइन को पूरी तरह से सही होने की ज़रूरत नहीं है। दस टाइम्ड उदाहरण आज की प्रक्रिया की तुलना में बेहतर हैं। बिना उन्हें, हर बाद की मूल्यांकन बातचीत राय से राय में बदल जाएगी।

परिणामों को मॉडल प्रदर्शन से न्याय न करें

तकनीकी टीमें तकनीकी मैट्रिक्स - सटीकता, लैटेंसी, बेंचमार्क स्कोर - रिपोर्ट करेंगी। ये उन्हें चिंतित करते हैं और आपको नहीं करना चाहिए। एक मॉडल 95% सटीक हो सकता है और फिर भी परियोजना के रूप में विफल हो सकता है क्योंकि उसकी गलतियाँ आपके सबसे महत्वपूर्ण ग्राहकों पर पड़ती हैं, या कर्मचारी मार्च से ही इसे अनदेखा करना शुरू कर देते हैं।

नेतृत्व स्तर पर समीक्षा करने लायक चार प्रकार के मैट्रिक्स हैं:

• आउटपुट: काम तेज़, सस्ता या बेहतर है, या बेसलाइन की तुलना में
• अनुपात: प्रणाली का उपयोग पात्र कार्यों का कितना प्रतिशत करता है, और क्या यह संख्या बढ़ रही है या घट रही है
• विचलन: मानव को हस्तक्षेप करने, ठीक करने या ओवरराइड करने की आवश्यकता कितनी बार होती है, और क्या ये मामले कम हो रहे हैं
• विश्वास: इसे उपयोग करने वाले लोग इसे खोने का विरोध करेंगे या नहीं

अनुपात को विशेष ध्यान देना चाहिए। एक प्रणाली जो केवल 8% पात्र मामलों का हिस्सा बनाती है, उसे सफल नहीं कहा जा सकता, चाहे उसकी सटीकता कितनी भी अच्छी क्यों न हो। गिरते उपयोग सबसे ईमानदार संकेत हैं जो कुछ भी शिकायत से पहले आते हैं।

पूरी लागत की गणना करें

निर्माण लागत दृश्यमान हिस्सा है। वास्तविक कुल में सदस्यता और कम्प्यूटिंग लागत, कर्मचारियों द्वारा आउटपुट की समीक्षा करने में बिताया गया समय, और आपूर्तिकर्ता एक API बदल देता है या प्रणाली के चारों ओर एक प्रक्रिया शिफ्ट हो जाती है, तो रखरखाव। एक परियोजना जो सप्ताह में 20 घंटे बचाती है लेकिन समीक्षा और रखरखाव में 10 घंटे खर्च करती है, उसका वास्तविक लाभ आधा होगा।

लॉन्च के तीन और छह महीने बाद समीक्षा निर्धारित करें और पूरे चल रहे खर्च की तुलना मापे गए लाभ से करें। कई परियोजनाएँ जो शुरुआत में धुंधली लग रही थीं, छह महीने बाद स्पष्ट रूप से सकारात्मक हो जाती हैं; कुछ जो प्रदर्शन में चमकदार दिखाई देती थीं, वे नकारात्मक साबित होती हैं। अपने पास अभी भी समय है कि इसे ठीक करें या रोकें।

गिरावट का ध्यान रखें

एक AI प्रणाली एक पुल नहीं है; यह बनी रहती है। डेटा बदलता है, व्यवसाय बदलता है, API के पीछे मॉडल बदल जाते हैं बिना किसी सूचना के। एक जनवरी में काम करने वाली प्रणाली जुलाई तक धीरे-धीरे शांत हो सकती है, और क्योंकि आउटपुट अभी भी संभावित लगता है, इसका पता तब चलता है जब एक ग्राहक करता है।

फिक्स हल्का है: एक ज्ञात मामलों का छोटा सेट रखें जिसमें सही उत्तर ज्ञात हों, और उन्हें प्रणाली के माध्यम से महीने में एक बार चलाएँ। यदि परिणाम बदल जाते हैं, तो आप अपनी खुद की जाँच से इसका पता लगाते हैं, न कि बाजार से। इसे किसी नाम वाले व्यक्ति को सौंपें। गिरने को कोई अपना काम नहीं मानने पर, यह अनदेखा हो जाएगा।

एक पृष्ठीय परीक्षण

यदि एक AI परियोजना सफल रही, तो आपको इसे एक पृष्ठ पर लिख सकते हैं: बेसलाइन, लक्ष्य, मापे गए परिणाम, पूरे खर्च और शुरूआत से लेकर लॉन्च के बाद तक के रुझान। यदि यह पृष्ठ लिखा नहीं जा सकता, तो ईमानदार निष्कर्ष यह है कि कोई भी इसका उत्तर नहीं जानता - जो व्यवसाय के लिए एक समान चीज़ है।

यह मापन अनुशासन अधिकांश टीमों से अधिक है, और यह ठीक वह वजन है जिसके लिए Hercules A इसे शुरू से बनाता है, इसलिए "काम किया" का सवाल हमेशा एक नंबर के साथ जवाब देगा।