लूप में इंसान, थिएटर के बिना

मनुष्य को प्रक्रिया में रखें

कंपनियाँ जब AI लागू करती हैं, तो "हम एक मनुष्य को प्रक्रिया में रखते हैं" यह सुनिश्चित करना एक मानक तरीका बन गया है। लेकिन इस वाक्यांश में मनुष्य की स्थिति, वह क्या वास्तव में देख सकता है, या क्या उसके पास समय और अधिकार है कि वह 'ना' कह सके इसके बारे में कुछ भी नहीं बताया गया है। अच्छी तरह से किया गया एक मनुष्य चेकपॉइंट महंगी गलतियों को ग्राहक तक पहुँचने से पहले पकड़ लेता है। बुरी तरह से किया गया, यह एक व्यक्ति ऐसे आउटपुट पर 'स्वीकृति' दे रहा है जिसे वह मूल्यांकन नहीं कर सकता, और उसकी जिम्मेदारी उस प्रणाली के लिए है जिसे उसने कभी वास्तव में नियंत्रित नहीं किया।

यहाँ कार्यान्वित संस्करण है:

मनुष्य को वहाँ रखें जहाँ लागत है

न हर AI आउटपुट की समीक्षा की जानी चाहिए, और सभी आउटपुटों की समीक्षा करने से कोई भी वास्तविक ध्यान नहीं मिलता। उपयोगी प्रश्न यह नहीं है कि "यह महत्वपूर्ण है" बल्कि "गलत उत्तर की लागत क्या है, और हम इसे उलटने में कैसे सफल हो सकते हैं?"

एक ऐसे मॉडल जो आंतरिक बैठक नोट्स तैयार कर सकता है, उसे अनन्य रूप से चलाया जा सकता है; एक बुरा नोट सस्ता और स्पष्ट है। एक ऐसे मॉडल के लिए जो ग्राहकों की पुनर्विक्रय राशि निर्धारित करता है, नियामक फॉर्म भर देता है, या एक ग्राहक को ईमेल भेजता है, वहाँ एक चेकपॉइंट की आवश्यकता होती है क्योंकि गलती महंगी और मुश्किल से उलटने योग्य है। अपने AI-संपर्कित निर्णयों को गलत होने की लागत और इसे उलटने की कठिनाई के आधार पर वर्गीकृत करें। शीर्ष कोने में मनुष्य को रखें। बाकी चीज़ें स्वचालित हो सकती हैं।

निर्णय का डिज़ाइन करें, ग्लांस नहीं

एक चेकपॉइंट केवल तभी काम करता है जब समीक्षक स्वतंत्र रूप से निर्णय ले सकता है। इसका मतलब है कि इंटरफ़ेस को केवल उत्तर दिखाने से अधिक करना चाहिए।

• तर्क या स्रोत दिखाएँ, केवल निष्कर्ष नहीं - उस इनवॉइस लाइन से संख्या आई है जिस पर यह आधारित है, या उस नीति खंड का हवाला जिसका उल्लेख निर्णय में है।
• मॉडल की अपनी असुरक्षा को ध्यान में रखें, ताकि कम-विश्वास वाले मामलों को अधिक जाँच की जाए।
• 'मंजूरी' और 'अस्वीकृति' दोनों को समान आसानी से करने की अनुमति न दें, यदि "ना" तीन अतिरिक्त क्लिक लेता है और "हाँ" एक के लिए, तो आप एक मुहर बना रहे हैं।
• प्रत्येक आइटम पर समीक्षक को असहमत होने के लिए पर्याप्त संदर्भ दें, लेकिन हर मामले के लिए बीस मिनट नहीं। समय के आधार पर समायोजित करें।

यदि एक समीक्षक ऐसा निर्णय मंजूर करता है जिसका वह स्पष्टीकरण नहीं दे सकता, तो उसने इसे नहीं समीक्षा किया। उसने इसे देखा था।

शांत विफलता मोड पर ध्यान दें

मानव निगरानी को नष्ट करने का एक स्थायी तरीका ऑटोमेशन पूर्वाग्रह है। जब मॉडल सही 95% समय होता है, तो समीक्षक उस पर भरोसा करना शुरू कर देते हैं, और उनकी मंजूरी दर 100% के करीब पहुँच जाती है। वह 5% जो हमेशा के लिए स्लिप करता है, क्योंकि उसे पकड़ने के लिए एक मजबूत पूर्वाग्रह के खिलाफ संदेह करने की आवश्यकता होती है।

इसे एक याद दिलाने वाले नोट के साथ ठीक नहीं किया जा सकता। आप इसे संरचना के माध्यम से ठीक करते हैं। समीक्षक के ओवरराइड दर को समय के साथ ट्रैक करें - यदि यह लगभग शून्य तक गिर जाता है, तो या तो मॉडल बेहतर हो गया है या मानव समीक्षकों ने रुक दिया है। आप जो चेकपॉइंट डिज़ाइन करते हैं, उसका अर्थ यह है कि कभी-कभी धीमा होना स्वीकार्य है।

प्राधिकरण को वास्तविक रखें

एक मनुष्य को प्रक्रिया में शामिल करना जिसके पास कोई शक्ति नहीं है कि वह प्रक्रिया रोके, एक वरीयता या अधिक वरिष्ठ व्यक्ति को मामले को संभालने के लिए भेजे, या एक मैनुअल पथ ट्रिगर करे, इसे सजावट बना देता है। समीक्षक को एक वास्तविक 'ना' जो प्रक्रिया को रोकता है, की आवश्यकता होती है, और संगठन को यह स्वीकार करना चाहिए कि इससे कभी-कभी धीमापन हो सकता है। यदि नेतृत्व इसे रोकने वाले किसी भी व्यक्ति को गुप्त रूप से दंडित करता है, तो समीक्षक जल्दी से 'रोकना' बंद कर देंगे। निगरानी जो आप डिज़ाइन करते हैं, वह प्रभावी नहीं रहेगी।

लूप को बदलने की योजना बनाएँ

निगरानी एक स्थायी खर्च नहीं है। जैसे-जैसे आप जहाँ मॉडल विश्वसनीय है और वहाँ यह नहीं है, इसके बारे में डेटा इकट्ठा करते हैं, आप उन मामलों से मनुष्यों को बाहर निकाल सकते हैं जहाँ वे कभी भी कुछ भी पकड़ने में सक्षम नहीं होते और उन्हें उन जगहों पर केंद्रित कर सकते हैं जहाँ ओवरराइड वास्तव में होते हैं। लूप समय के साथ कसकर या ढीला होना चाहिए। यह केवल तभी संभव है जब आप शुरुआत से ही ओवरराइड दरों और गलत उत्तरों की लागत का ईमानदारी से मूल्यांकन करते हैं, न कि 'मनुष्य को प्रक्रिया में रखा' को एक बॉक्स के रूप में चिह्नित करके।

यह AI अपनाने का असंगीत हिस्सा है - चेकपॉइंट, ऑडिट ट्रेल्स, और गलत उत्तरों की लागत का ईमानदार खाता। यह वह जगह है जहाँ मूल्य और जोखिम वास्तव में रहते हैं। Hercules A में, हम इस भाग को आपके साथ ले जाते हैं: प्रणाली में निगरानी बनाना, और एक समीक्षक को बोल्ड करना जो केवल 'हाँ' दे रहा है, इसे एक सुरक्षा उपाय के रूप में नहीं बल्कि एक वास्तविक नियंत्रण के रूप में लेना।