Umano nel ciclo, senza il teatro

Mantenere un essere umano nel ciclo

"Manteniamo un essere umano nel ciclo" è diventata la rassicurazione standard quando un'azienda implementa l'intelligenza artificiale. Suona responsabile. Ma la frase non dice nulla su dove si posiziona l'essere umano, cosa può effettivamente vedere o se ha il tempo e l'autorità per dire di no. Se eseguito bene, un controllo umano intercetta errori costosi prima che raggiungano un cliente. Se fatto male, è una persona che approva uscite che non può valutare, assumendosi la colpa di un sistema che non ha mai veramente controllato.

Ecco come appare la versione lavorativa.

Posizionare l'essere umano dove il costo è maggiore

Non ogni output dell'IA richiede una revisione e la revisione di tutti garantisce che nessuno riceva vera attenzione. La domanda utile non è "è importante?" ma "quanto costa un errore e possiamo rimediare?"

Un modello che redige note per riunioni interne può funzionare senza supervisione; una nota sbagliata è economica e ovvia. Un modello che determina l'importo di un rimborso per un cliente, compila un modulo regolamentare o invia un'email a un cliente richiede un controllo, perché l'errore è costoso e difficile da correggere. Classifica le decisioni influenzate dall'IA in base al costo di essere sbagliati e alla difficoltà di rimediare. La parte superiore riceve un controllo umano. Il resto procede, con campionamento.

Progettare la decisione, non lo sguardo

Un controllo funziona solo se il revisore può formare un giudizio indipendente nel tempo che effettivamente ha a disposizione. Ciò significa che l'interfaccia deve fare più del mostrare la risposta.

• Mostra il ragionamento o la fonte, non solo la conclusione - la riga dell'invoice da cui proviene il numero, la clausola della politica citata nella decisione.
• Segnala l'incertezza del modello stesso, in modo che i casi a basso rischio ricevano più attenzione di quelli abituali.
• Rendi il rifiuto facile quanto l'approvazione, con una ragione richiesta. Se "no" richiede tre clic extra e "yes" solo uno, hai progettato un timbro.
• Dai al revisore abbastanza contesto per dissentire, ma non così tanto che ogni caso impieghi venti minuti. Calibra in base al tempo che ha per articolo.

Se un revisore non riesce a spiegare perché ha approvato qualcosa, non l'ha revisionato. Ha solo assistito.

Guardare alla modalità di fallimento silenziosa

Il modo prevedibile con cui la supervisione umana si deteriora è il bias di automazione. Quando un modello ha ragione al 95% del tempo, i revisori imparano a fidarsi di esso e il tasso di approvazione tende verso il 100%. Il 5% che necessita di loro sfugge, perché richiede rimanere scettici contro una forte priorità che tutto sia a posto.

Non puoi risolvere questo problema con un promemoria per "restare all'erta". Lo risolvi con la struttura. Tieni traccia del tasso di override del revisore nel tempo - se scende verso lo zero, o il modello si è migliorato o gli esseri umani hanno smesso di guardare, e devi sapere quale sia la causa. Inserisci periodicamente casi noti-sbagliati e verifica che vengano catturati. Ruota i revisori prima che si affatichino. Tratta un controllo che non respinge mai nulla come un controllo difettoso, non come uno di successo.

Mantenere l'autorità reale

Un essere umano nel ciclo con nessun potere di fermare il processo è solo decorazione. Il revisore ha bisogno di un vero "no" che blocca il flusso di lavoro, inoltra il caso a qualcuno di più anziano o attiva una strada manuale - e l'organizzazione deve accettare che questo rallenterà a volte le cose. Se la leadership punisce segretamente chi blocca il throughput, i revisori capiranno velocemente il messaggio e smetteranno di bloccare. La supervisione progettata svanirà, lasciando solo l'apparenza di controllo e nessuna sostanza.

Decidi in anticipo chi possiede il risultato quando un essere umano approva una cattiva decisione dell'IA. Se la risposta è "il modello", non hai messo un essere umano nel ciclo. Hai trovato qualcuno su cui scaricare la colpa.

Pianificare perché il ciclo cambi

La supervisione non è un costo fisso che paghi per sempre. Man mano che raccogli dati su dove il modello è affidabile e dove no, puoi togliere gli esseri umani dai casi in cui non beccano mai nulla e concentrarli dove gli override accadono effettivamente. Il ciclo dovrebbe restringersi nel tempo in alcuni luoghi e rimanere fermo in altri. Ciò funziona solo se hai misurato i tassi di override e i costi degli errori dall'inizio, invece di trattare "essere umano nel ciclo" come una casella da spuntare al lancio.

Questa è la parte poco glamour dell'adozione dell'IA - i controlli, le tracce di audit, l'onesto rendicontazione di ciò che costa un errore. È anche dove risiede il valore e il rischio effettivi. A Hercules A, questa è la parte che portiamo con te: costruire la supervisione nel sistema, non attaccare un revisore alla fine e chiamarlo sicuro.