आपके एआई को फ्लाइट रिकॉर्डर की ज़रूरत है, और आप इसे पहले दिन बनाते हैं
उन कुछ रिकॉर्ड्स से आप किसी भी AI आउटपुट को महीनों बाद समझ सकते हैं, और ग्राहक से पहले गुणवत्ता में बदलाव को पहचान सकते हैं।
जब एक एआई सिस्टम प्रोडक्शन में पहुँचता है, तो पहला कठिन सवाल कभी भी यह नहीं होता कि यह कैसे काम करता है। ग्राहक एक उद्धरण पर विवाद करता है, एक ऑडिटर पूछता है कि निर्णय कैसे लिया गया, या आपकी टीम का कोई सदस्य इस महीने सारांश खराब होने लगे और आपको बता नहीं पाता कि यह कब शुरू हुआ।
उस पल आप या तो रिकॉर्ड रखते हैं या नहीं, और फिर से उसे बनाना संभव नहीं है। आज के समान प्रश्न को दोहराने से आपको आज का उत्तर मिलता है, आज का मॉडल, आज का प्रॉम्प्ट और आज के डेटा। यह कुछ भी साबित नहीं करता।
लॉगिंग एक दिन-एक निर्णय है। बाद में जोड़ा जाता है, तो यह केवल आगे होने वाली घटनाओं को कवर करता है।
उत्तर उत्पन्न करने वाली छह चीजें
एक एआई प्रतिक्रिया एक छोटे से इनपुट सेट का परिणाम होती है। हर कॉल पर, पहले अनुरोध को पकड़ें, जिसमें एक अद्वितीय आईडी, टाइमस्टैम्प, जिसने अनुरोध किया, और प्रस्तुत किए गए सटीक पाठ या डेटा शामिल हैं।
- संदर्भ - प्रणाली द्वारा प्राप्त और मॉडल के सामने रखे गए हर दस्तावेज़, रिकॉर्ड या रो की पहचान करें, संस्करण के साथ।
- निर्देश - प्रॉम्प्ट टेम्पलेट और रनटाइम में असेंबल किए गए कुछ, और टेम्पलेट का संस्करण।
- मॉडल - एक्टिवेट किए गए विशिष्ट मॉडल की पहचान, न कि परिवार के नाम से, साथ ही सेटिंग्स जैसे तापमान, टोकन सीमाएँ, और यह कौन-से उपकरणों तक पहुँच सकता है।
- उत्पादन - रिवर्स प्रतिक्रिया से पहले कच्चा उत्तर, और यदि दोनों भिन्न हैं तो प्रसंस्कृत संस्करण।
- परिणाम - आगे क्या हुआ: एक उपयोगकर्ता को दिखाया गया, एक ग्राहक को ईमेल किया गया, यह एक दावे को मंजूरी देने के लिए इस्तेमाल हुआ, और क्या कोई व्यक्ति ने इसे स्वीकार, संपादित या अस्वीकार किया।
संदर्भ और निर्देशों को छोड़ दें तो आपके पास आधे वार्तालाप केवल बचे हैं। आप यह देख सकते हैं कि प्रणाली ने क्या उत्तर दिया और यह समझने में असमर्थ रहेंगे कि वह उत्तर उचित क्यों था।
संस्करण सभी को छोड़ दिए जाने वाले हैं
तीन चीजें एक एआई प्रणाली के नीचे बदल जाती हैं बिना किसी के फ़ाइलिंग रिक्वेस्ट के। कोई प्रॉम्प्ट संपादित करता है एक मंगलवार दोपहर, वेंडर मॉडल को अपडेट करता है उसी API नाम के तहत, या ज्ञान आधार को फिर से इंडेक्स किया जाता है और प्रणाली अलग-अलग दस्तावेज़ प्राप्त करती है उसी सवाल के लिए।
इन तीनों में से कोई भी गुणवत्ता को प्रभावित कर सकता है, और इनमें से कोई भी आउटपुट लॉग में नहीं दिखाई देता। हर कॉल पर प्रॉम्प्ट, मॉडल और डेटा इंडेक्स के संस्करण पहचानकर्ता को रिकॉर्ड करें, और "अच्छे सप्ताह और बुरे सप्ताह के बीच क्या बदल गया" पूछने में मिनट लग जाएंगे। बिना उन्हें इसे करना एक सप्ताह का अनुमान लगाने और अक्सर किसी वरिष्ठ सदस्य की प्रतीक्षा करने का मतलब होगा।
इसके साथ, जो आपने पहले से ही हासिल कर लिया है उसका उपयोग करें: संपादन दर, अस्वीकृति दर, मानव के पास बढ़ाना, और डेटाबेस तक पहुँचने वाले उत्तरों का प्रतिशत जहाँ प्रणाली कोई संबंधित दस्तावेज़ नहीं पाती। एक बढ़ते हुए डेटाबेस तक पहुँचने वाले उत्तरों में आमतौर पर आपके डेटा स्थायी नहीं रहे, न ही आपका मॉडल है।
गिरावट की तुलना करें, अलार्म नहीं
कुछ भी आपको यह बताने के लिए नहीं होगा कि आउटपुट खराब हो रहे हैं। गिरावट धीमी और प्रत्येक व्यक्तिगत उत्तर प्रतिष्ठित लगता है।
व्यावहारिक तरीका यह है कि हर महीने एक निश्चित संख्या में वास्तविक अनुरोधों को दोहराएँ - 100 पर्याप्त हैं, जो आपके असली ट्रैफ़िक और आपके अजीब मामलों को कवर करते हैं - और नए उत्तरों की तुलना संग्रहित किए गए उत्तरों से करें। जहाँ वे भिन्न हैं, एक व्यक्ति दोनों को पढ़े, और यह निर्धारित करें कि कौन बेहतर था। यह केवल तभी काम करता है जब आपने इनपुट रखे हैं, जो इस तर्क का पूरा हिस्सा है कि लॉगिंग क्यों शुरू से ही होनी चाहिए, क्योंकि यह एक एआई प्रणाली को कुछ ऐसे में बदल देता है जिस पर आप भरोसा कर सकते हैं और इसे साबित कर सकते हैं।
इसे शुरू से बनाएँ, क्योंकि यह आपके ग्राहकों के टाइप किए गए डेटा को भी ले जाता है, जिसका अर्थ है वे निजी जानकारी के समान कर्तव्यों के अधीन हैं। फ़ील्ड को उनके लेखन के अनुसार वर्गीकृत करें, संवेदनशील जानकारी को मास्क या टोकनाइज़ करें, और लॉग को एप्लिकेशन से अलग स्थान पर संग्रहीत करें ताकि एक विफलता दूसरे रिकॉर्ड को न ले जाए।
संग्रहण का फैसला सावधानीपूर्वक करें। लंबे समय तक अनुबंध या नियामक प्रतिबद्धताओं पर आधारित रखें, और एक अपेंड-ऑनली स्टोर को चुनें ताकि कोई भी इतिहास संशोधित नहीं किया जा सके। नियमित ट्रैफ़िक के लिए, छोटा और सस्ता बेहतर है, और एक व्यक्ति का नाम इस नीति पर रखें।
संग्रहण महंगा नहीं है। रिकॉर्ड बनाने के लिए प्रणाली को सुसज्जित करना, जो एक जीवित प्रणाली में इसे फिट करने के लिए आपको समझाने की आवश्यकता है, यह है जहाँ समय और प्रयास लगता है। हम इन रिकॉर्ड्स को शुरू से बनाते हैं क्योंकि वे एक एआई प्रणाली को ऐसे में बदलते हैं जिस पर आप भरोसा कर सकते हैं और इसे साबित कर सकते हैं।