Omul în buclă, fără teatrul formalității
Un ghid practic pentru locul în care revizuirea umană se integrează în fluxurile de lucru ale inteligenței artificiale, cum să proiectați punctele de control și cum să evitați ca acestea să devină un timbru de aprobare.
Păstrăm un om în circuit
"Păstrăm un om în circuit" a devenit asigurarea standard atunci când o companie implementează inteligența artificială (IA). Sună responsabil, dar fraza nu spune nimic despre unde se află omul, ce poate vedea efectiv sau dacă are timpul și autoritatea să spună nu. Realizat bine, un punct de control uman prinde greșeli scumpe înainte ca acestea să ajungă la client. Realizat prost, este o persoană care aprobă ieșiri pe care nu le poate evalua, asumându-și responsabilitatea pentru un sistem pe care nu l-a controlat niciodată cu adevărat.
Iată cum ar trebui să arate versiunea de lucru:
Plasează omul acolo unde costul este mai mare
Nu toate ieșirile IA necesită revizuire, iar revizuirea tuturor garantează că niciuna nu primește atenție reală. Întrebarea utilă nu este "este aceasta importantă", ci "ce costă o răspuns greșit și putem remedia?"
Un model care redactează note pentru întâlniri interne poate funcționa neasistat; o notă proastă este ieftină și evidentă. Un model care stabilește suma unei rambursări a clientului, completează un formular de reglementare sau trimite un e-mail către un client necesită un punct de control, deoarece greșeala este scumpă și dificil de remediat. Ordonează deciziile IA-asistate în funcție de costul unei greșeli și de dificultatea de a o corecta. Punctele superioare primesc un om. Restul funcționează automat, cu eșantionare.
Proiectează decizia, nu doar o privire
Un punct de control funcționează doar dacă revizorul poate forma o judecată independentă în timpul real pe care îl are la dispoziție. Asta înseamnă că interfața trebuie să facă mai mult decât să afișeze răspunsul.
- Afișează raționamentul sau sursa, nu doar concluzia - linia de factură din chitanță, clauza din politică pe care se bazează decizia.
- Semnează incertitudinea modelului, astfel încât cazurile cu încredere scăzută să fie supuse unei examinări mai stricte decât cele obișnuite.
- Fă respingerea la fel de ușoară ca și aprobarea, cu un motiv obligatoriu. Dacă "nu" necesită trei clicuri suplimentare și "da" doar unul, ai proiectat un timbru de aprobare.
- Oferă revizorului suficient context pentru a contesta, dar nu atât încât fiecare caz să dureze 20 de minute. Calibrează-te la timpul pe care îl are la dispoziție pentru fiecare element.
Dacă un revizor nu poate explica de ce a aprobat ceva, nu a revizuit efectiv, ci a fost martor.
Fii atent la modul pasiv de eșec
Modul previzibil în care supravegherea umană se deteriorează este bias-ul de automatizare. Când un model are dreptate 95% din timp, revizorii învață să aibă încredere în el, iar rata lor de aprobare tinde spre 100%. Cele 5% care au nevoie de ei scapă, deoarece identificarea lor necesită menținerea unei scepticism puternice împotriva unei presupuneri puternice că totul este bine.
Nu poți remedia asta cu un memento să "rămâi alert". Poți face asta cu structură. Urmăriți rata de suprascriere a revizorilor în timp - dacă ajunge aproape de zero, fie modelul s-a îmbunătățit, fie revizorii au încetat să se mai uite, și trebuie să știi care este cazul. Introduceți periodic cazuri cunoscute ca greșite și verificați dacă sunt detectate. Rotiți revizorii înainte ca oboseala să apară. Tratează un punct de control care nu respinge niciodată nimic ca fiind defect, nu eficient.
Asigură-te că autoritatea este reală
Un om în circuit cu nicio putere de a opri procesul este doar o decorațiune. Revizorului îi trebuie un "nu" autentic care oprește fluxul de lucru, direcționează cazul către cineva mai senior sau declanșează o cale manuală - iar organizația trebuie să accepte că acest lucru va încetini uneori procesul. Dacă conducerea pedepsește în tăcere pe oricine blochează fluxul, revizorii vor înțelege rapid mesajul și vor înceta să mai blocheze lucrurile. Supravegherea pe care ai proiectat-o se evaporă, rămânând doar aparența controlului, fără substanță.
Decide în avans cine este responsabil pentru rezultat atunci când un om aprobă o decizie IA greșită. Dacă răspunsul este "modelul", nu ai plasat cu adevărat un om în circuit. Ai găsit pe cineva de vină.
Planifică ca circuitul să se schimbe
Supravegherea nu este o cheltuială fixă pe care o plătești pentru totdeauna. Pe măsură ce colectați date despre unde modelul este fiabil și unde nu, puteți scoate oamenii din cazurile în care ei nu prind niciodată nimic și concentrați-i acolo unde suprascrierile se întâmplă cu adevărat. Circuitul ar trebui să se strângă în timp în unele locuri și să rămână ferm în altele. Asta funcționează doar dacă ați măsurat ratele de suprascriere și costurile greșelilor de la început, nu dacă ați tratat "omul în circuit" ca o casetă pe care ați bifat-o la lansare.
Aceasta este partea neglumă a adoptării IA - punctele de control, traseele de audit, contabilitatea onestă a costului unei greșeli. De asemenea, aceasta este unde se află cu adevărat valoarea și riscul. La Hercules A, această parte este ceea ce purtăm cu noi: integrarea supravegherii în sistem, nu atașarea unui revizor la sfârșit și declararea siguranței.