वो अपग्रेड जिसके लिए आपने नहीं पूछा

क्यों अपग्रेड चीज़ों को तोड़ देते हैं जो काम कर रही थीं

एक नए मॉडल में औसतन बेहतरी और विशेष रूप से बदलाव होता है। प्रोवाइडर एग्रीगेट बेंचमार्क के अनुसार ऑप्टिमाइज़ करते हैं; आप अपने खुद के संकीर्ण वास्तविकता के खिलाफ तैनात करते हैं। जब मॉडल बदलता है, तो आपके द्वारा ट्यून किए गए व्यवहार भी बदलते हैं - प्रॉम्प्ट में जिस फ़र्मेटिंग पर निर्भर था, JSON संरचना आपके इंटीग्रेशन की उम्मीद करता था, अनुपालन टीम द्वारा मंजूरी दी गई अस्वीकृत सीमा, या UI फिट होने वाली लंबाई।

अपग्रेड तीन तरीकों से आते हैं: प्रोवाइडर एक मॉडल संस्करण को रिटायर करता है और आपको माइग्रेट करता है, आप एक फ़्लोटिंग एलियस का उपयोग करते हैं जो नए संस्करण को साइलेंट रूप से हल करता है, या आप लागत या लैटेंसी कम करने के लिए जानबूझकर अपग्रेड करते हैं और गुणवत्ता में सुधार होने की उम्मीद करते हैं। तीनों परिणाम एक समान है: व्यवहार बदल गया और कोई भी नहीं मापा कि क्या बदला।

वह चीज़ बनाएँ जो आपको बताएगी

एक निश्चित सेट के साथ एकाधिक परीक्षण मामलों का होना जिनमें अच्छे उत्तर हों - एक गोल्डन सेट। आपके वास्तविक ट्रैफ़िक से 200 उदाहरण, आपके सामान्य मामलों, आपके किनारे मामलों और ऐसी स्थितियों को कवर करते हैं जहाँ गलत होना महंगा है। प्रत्येक के लिए व्यवसाय द्वारा सही माना जाने वाला उत्तर।

उन्हें वर्तमान मॉडल के खिलाफ चलाएँ और परिणामों को रिकॉर्ड करें। वह आपका बेसाइन है। एक नए मॉडल के आने पर उसी सेट को फिर से चलाएँ और तुलना करें। पूरा उत्पाद अब आपके पास है: आपके पास अंतर्दृष्टि है, न कि धारणाएँ।

इसे बनाने में कुछ दिन लगेंगे और इसके लिए आपके ऑपरेटरों की आवश्यकता होगी, न कि इंजीनियरों की, वास्तविक ट्रैफ़िक पर परिभाषित "सही" का अर्थ निर्धारित करने के लिए। अधिकांश संगठन इसे इसलिए छोड़ देते हैं क्योंकि यह लॉन्च से पहले अतिरिक्त कार्य लगता है। यह पूरे सिस्टम में सबसे सस्ती बीमा है।

अपग्रेड को आपके नियंत्रण में लाएँ

प्रत्येक उत्पादन कॉन्फ़िगरेशन में विशिष्ट मॉडल संस्करणों को पिन करें। एक पिन किया गया संस्करण एक घातांक को निर्णय में बदल देता है। फिर प्रत्येक अपग्रेड को एक छोटे परियोजना के रूप में इलाज करें:

• गोल्डन सेट को नए संस्करण के खिलाफ चलाएँ और प्रत्येक मामले में बेस लाइन के खिलाफ तुलना करें,
• व्यवसाय के मालिक को उन मामलों की समीक्षा करने दें जहाँ उत्तर बदल गया, न केवल जहाँ यह खराब हो गया; सुधार भी डाउनस्ट्रीम सिस्टम को तोड़ सकते हैं,
• नए संस्करण को एक छोटे जीवित ट्रैफ़िक के हिस्से को भेजें और ऑपरेशनल संकेतकों पर नज़र रखें: उत्तेजना दर, औसत हैंडलिंग समय, कर्मचारियों द्वारा प्रणाली के ड्राफ्ट को संशोधित करने की बार-बार आवश्यकता, शिकायतें
• पुराने संस्करण तक पहुँच बनाए रखें एक रोलबैक खिड़की के लिए, और जानें कि कौन अधिकार रखता है इसे स्विच करने के लिए
• निर्णय, तारीख और सबूतों को रिकॉर्ड करें, ताकि अगला अपग्रेड एक ज्ञात स्थिति से शुरू हो

इस सूची में एक डेमो नहीं है: नए मॉडल के पाँच सवालों का उत्तर देखना आपके ट्रैफ़िक के बीसवें प्रतिशत के बारे में कुछ भी नहीं बताता, जो आपकी शिकायतें से आता है।

अपने व्यवसाय द्वारा उत्पन्न संकेतकों पर नज़र रखें

अपग्रेड के बीच, गुणवत्ता में बदलाव संख्याओं में दिखाई देगा जो आप शायद पहले से ही इकट्ठा करते हैं। मानव तक पहुँचने की आवश्यकता। औसत हैंडलिंग समय। कर्मचारियों द्वारा प्रणाली का मसौदा कितनी बार संशोधित किया जाता है इससे पहले कि इसे भेजा जाए। एक हफ़्ते में एक ही मुद्दे पर दोबारा संपर्क। इनमें से कोई भी तीन या चार सप्ताह में बढ़ता है, तो उस मॉडल लेयर में कुछ बदल गया है।

एक निर्दिष्ट व्यक्ति को साप्ताहिक आधार पर उन संख्याओं की समीक्षा करने का काम दें। एक समिति नहीं, एक तिमाही समीक्षा नहीं। एक नामित मालिक और पंद्रह मिनट की जाँच।

इसे अनुबंध में डालें

अपने प्रोवाइडर से लिखित सूचना माँगें अपग्रेड से पहले, पिन किए गए संस्करणों के लिए न्यूनतम समर्थन खिड़की, और पिछले संस्करण तक पहुँच के दौरान माइग्रेशन। विनियमित उद्योगों में आमतौर पर ऐसा करने वाले प्रदाता होते हैं। जो ऐसा नहीं करते हैं, वे आपको बता देंगे, और यह उत्तर अपग्रेड से पहले ही उपयोगी है।

ईमानदार स्थिति

आप अपने प्रोवाइडर को मॉडल में सुधार करने से नहीं रोक सकते, और आप ऐसा भी नहीं करना चाहेंगे। जो आप कर सकते हैं वह यह सुनिश्चित करना है कि सुधार आपकी शर्तों पर हो: मापा, चरणबद्ध, उलटाबल और किसी के द्वारा स्वामित्व लिया जाए।

यह उत्पादन में AI चलाने का असंगठित वजन है, न कि पायलट करने का; और यह वह भाग है जो हम अपने ग्राहकों के लिए करते हैं जो व्यवसाय पर ध्यान केंद्रित करना चाहेंगे। चाहे तरीका कुछ भी हो, गोल्डन सेट बनाएँ। सब कुछ इसके आसपास निर्भर करता है।