डेमो हमेशा काम करता है: एक असली एआई सिस्टम और एक निर्धारित एक के बीच अंतर कैसे करें

अपना इनपुट लाओ

वेंडर मीटिंग में सबसे उपयोगी काम आप अपनी कीबोर्ड लेकर आते हैं। अपने व्यवसाय से एक दस्तावेज़ ले जाएँ - एक गंदा अनुबंध, तीन लोगों के बीच एक सपोर्ट थ्रेड जिसमें एक-दूसरे पर बात कर रहे हैं, या आपके सबसे खराब फॉर्मेट वाला आपूर्तिकर्ता से एक इनवॉइस - और उनसे इसे लाइव चलाने को कहें, तैयार नहीं।

देखें कि क्या बदलाव होते हैं। प्रतिक्रिया समय, झुकना, फॉर्मेटिंग, और उत्तर की आत्मविश्वास स्तर। एक ऐसी प्रणाली जो किसी भी इनपुट पर अपना आकार बनाए रखती है जिसका कोई नियंत्रण नहीं किया गया है, उसने कम से कम एक बार वास्तविक दुनिया से मुलाकात की है।

यदि वेंडर मना करता है, तो उसके लिए पूछें क्यों। "आपके डेटा को सैंडबॉक्स में लोड नहीं किया गया" एक उचित उत्तर है। इसे स्वीकार करें, फिर इस परीक्षण को लिखित रूप में एक शर्त के रूप में रखें इससे पहले कि आप हस्ताक्षर करें, आपके फ़ाइलों और आपके पास क्या सफल होगा।

जब यह गलत हो तो पूछें

एक पल के लिए सटीकता प्रतिशत को नजरअंदाज करें और बाकी पर ध्यान दें। यदि प्रणाली 92% समय सही है, तो शेष 8% उपयोगकर्ता की सीट से कैसा दिखता है? केवल तीन विकल्प हैं: यह कहता है कि यह नहीं जानता, यह एक व्यक्ति को बढ़ावा देता है, या यह आत्मविश्वास से गलत उत्तर देता है।

स्पष्ट रूप से विफल प्रणालियाँ सस्ती हैं। शांति से विफल प्रणालियाँ महंगी हैं क्योंकि लागत ग्राहक पर पड़ती है जो गलत जानकारी पर कार्य करता है और कर्मचारी जो इसे एक सप्ताह तक ठीक करने में बिताता है।

फिर, प्रणाली के संदर्भ में एक मामले को देखने के लिए कहें जहाँ यह उत्तर देने से इनकार कर दे। टीमों के पास जो एक काम करने वाला उत्पाद है, वे इन मामलों के साथ गर्व से प्रदर्शित करते हैं, क्योंकि संयम बनाना कठिन है।

स्रोत के लिए पूछें

अपने सामग्री से जुड़े कुछ भी - नीतियाँ, मूल्य निर्धारण, अनुबंध, उत्पाद विनिर्देश - इसके स्रोत का उद्धरण करना चाहिए। एक उद्धरण मांगें, फिर इसे खोलें। प्रश्न यह नहीं है कि लिंक दिखाई दिया या नहीं। यह यह जानना है कि उद्धृत दस्तावेज़ उत्तर क्या दावा करता है।

इसे दो बार करें। दो जाँचें आपको एक प्रणाली के बारे में ज़्यादा जानकारी देंगी कि एक घंटे के स्लाइड।

डेटा बदलने के बाद पूछें

डेमो एक जमे हुए फ्रेम पर चलते हैं। आपका व्यवसाय नहीं है। ये प्रश्न एक उत्पाद और एक प्रोटोटाइप के बीच अंतर करते हैं:

• नए या सुधारित जानकारी कैसे आती है, कितनी बार, और इसके लिए किसका ज़िम्मा है?
• जब एक दस्तावेज़ हटा दिया जाता है या प्रतिस्थापित किया जाता है, तो प्रणाली उसे उपयोग करना कब तक बंद कर देती है?
• क्या प्रणाली आपके मौजूदा अनुमतियों का सम्मान करती है, या हर किसी को एक ही उत्तर मिलता है चाहे उनका भूमिका कुछ भी हो?
• जब मूल मॉडल बदलता है, तो क्या आपको परीक्षण करने से पहले इसे देखने का मौका मिलता है?
• एक समस्या होने पर, कौन जवाबदेह है और प्रतिक्रिया समय कितना है?

अविश्वसनीय उत्तरों में यह सबसे मजबूत संकेत है जो आप पूरी बैठक में पाएँगे। एक टीम जिसने कुछ काम करने वाला उत्पाद चलाया है, उसने इन सभी किनारों को महसूस किया है।

संख्याओं के लिए पूछें जिनका उत्पादन करने में कुछ लागत आती है

स्लाइड पर प्रतिशत मुफ़्त हैं। विशिष्ट संख्याओं के लिए पूछें, जिनके पास एक आकार है: कितने उपयोगकर्ता, कितने महीने, किस आधार पर, और किसने मापा। "60% टियर-वन टिकटों को हल करता है" इसका मतलब बहुत कम जानकारी देता है जब तक आप नहीं जानते कि 40% का पुनर्निर्देशन किसकी लागत पर होता है, और यह किसी पायलट से या एक साल से है।

एक अच्छा वेंडर विशिष्टताओं और सावधानियों के साथ उत्तर देगा। जो टीम ने अभी तक कुछ वास्तविक रूप से चलाया है, वह अपनी सीमाओं के बारे में सटीक बताएगी। एक तैयार डेमो में उनका कोई किनारा नहीं होता।

हम अक्सर खरीदार की तरफ़ बैठते हैं, और पैटर्न वही रहता है: प्रणालियाँ जो इन प्रश्नों का सामना करती हैं, वे दिखाई देने में कम प्रभावशाली डेमो वाली प्रणालियाँ दुर्लभ रूप से जीवित रहती हैं। वे उबाऊ, विशिष्ट और उपकरणों से लैस लगती हैं। यह काम करने का दृश्य है।