Mennesket i loopet – uden teater
En praktisk guide til, hvor menneskelig kontrol hører hjemme i AI-arbejdsgange, hvordan man designer kontrolpunkterne, og hvordan man undgår, at de bliver et rent stempel.
"Vi har altid et menneske i loopet" er blevet den standardberoligelse, virksomheder giver, når de tager AI i brug. Det lyder ansvarligt. Men formuleringen siger intet om, hvor mennesket sidder, hvad det rent faktisk kan se, eller om det har tid og myndighed til at sige nej. Gjort ordentligt fanger et menneskeligt kontrolpunkt dyre fejl, før de når kunden. Gjort dårligt er det en person, der klikker godkend på output, vedkommende ikke kan vurdere, og som ender med at bære skylden for et system, personen aldrig reelt har haft kontrol over.
Sådan her ser den version ud, der virker.
Placer mennesket der, hvor omkostningen er
Ikke alle AI-output skal gennemgås, og gennemgår man dem alle, garanterer man, at ingen af dem får reel opmærksomhed. Det nyttige spørgsmål er ikke "er det her vigtigt", men "hvad koster et forkert svar, og kan vi komme os over det".
En model, der skriver interne mødereferater, kan køre uden opsyn; et dårligt referat er billigt og til at få øje på. En model, der fastsætter, hvor meget en kunde skal have tilbagebetalt, indsender en myndighedsblanket eller sender en mail til en klient, har brug for et kontrolpunkt, fordi fejlen er dyr og svær at rulle tilbage. Sortér jeres AI-berørte beslutninger efter, hvad det koster at tage fejl, og hvor svært det er at gøre om. Det øverste hjørne får et menneske. Resten kører videre, med stikprøver.
Design beslutningen, ikke blikket
Et kontrolpunkt virker kun, hvis den, der gennemgår, kan danne sig en selvstændig vurdering på den tid, vedkommende faktisk har. Det betyder, at grænsefladen skal gøre mere end blot at vise svaret.
- Vis ræsonnementet eller kilden, ikke kun konklusionen — fakturalinjen, tallet stammer fra, den policy-bestemmelse, beslutningen henviser til.
- Markér modellens egen usikkerhed, så sager med lav sikkerhed bliver gransket mere end de rutineprægede.
- Gør det lige så let at afvise som at godkende, med en obligatorisk begrundelse. Hvis "nej" er tre ekstra klik og "ja" er ét, har I designet et stempel.
- Giv den, der gennemgår, kontekst nok til at være uenig, men ikke så meget, at hver sag tager tyve minutter. Kalibrér efter den tid, der er til rådighed pr. sag.
Hvis en person ikke kan forklare, hvorfor de godkendte noget, har de ikke gennemgået det. De har overværet det.
Hold øje med den stille fejltilstand
Den forudsigelige måde, menneskeligt tilsyn forfalder på, er automatiseringsbias. Når en model har ret 95 % af tiden, lærer de, der gennemgår, at stole på den, og deres godkendelsesrate glider mod 100 %. De 5 %, der havde brug for dem, slipper igennem, fordi det kræver, at man forbliver skeptisk mod en stærk formodning om, at alt er i orden.
Det kan ikke løses med en påmindelse om at "være opmærksom". Det løses med struktur. Følg afvisningsraten over tid — hvis den falder mod nul, er modellen enten blevet bedre, eller også er menneskene holdt op med at kigge, og I er nødt til at vide hvilket. Læg med jævne mellemrum kendte fejlsager ind, og tjek, at de bliver fanget. Rotér bemandingen, før trætheden sætter ind. Betragt et kontrolpunkt, der aldrig afviser noget, som et defekt kontrolpunkt, ikke et vellykket et.
Hold myndigheden virkelig
Et menneske i loopet uden magt til at stoppe processen er pynt. Den, der gennemgår, har brug for et ægte "nej", der standser arbejdsgangen, sender sagen videre til en mere erfaren kollega eller udløser et manuelt spor — og organisationen må acceptere, at det nogle gange vil sinke tingene. Hvis ledelsen stiltiende straffer dem, der bremser gennemløbet, forstår de ansatte hurtigt beskeden og holder op med at bremse. Det tilsyn, I designede, fordamper, og tilbage står kontrollens udseende uden noget indhold.
Beslut på forhånd, hvem der ejer udfaldet, når et menneske godkender en dårlig AI-beslutning. Hvis svaret er "modellen", har I ikke sat et menneske i loopet. I har fundet en at give skylden.
Regn med, at loopet ændrer sig
Tilsyn er ikke en fast omkostning, I betaler for evigt. Efterhånden som I samler data om, hvor modellen er pålidelig, og hvor den ikke er, kan I trække mennesker ud af de sagstyper, hvor de aldrig fanger noget, og koncentrere dem der, hvor afvisninger faktisk sker. Loopet bør strammes over tid nogle steder og forblive fast andre steder. Det virker kun, hvis I har målt afvisningsrater og fejlomkostninger fra begyndelsen, i stedet for at behandle "menneske i loopet" som et flueben, I satte ved lanceringen.
Det er den uglamourøse del af at tage AI i brug — kontrolpunkterne, revisionssporene, den ærlige opgørelse over, hvad et forkert svar koster. Det er også der, værdien og risikoen rent faktisk ligger. Hos Hercules A er det den del, vi bærer sammen med jer: at bygge tilsynet ind i systemet i stedet for at hægte en kontrollant på til sidst og kalde det sikkert.