Człowiek w pętli, bez teatru
Przewodnik praktyczny dotyczący miejsca przeglądu ludzkiego w procesach AI, sposobu projektowania punktów kontrolnych oraz unikania ich stania się pieczęcią gwarantującą poprawność.
Umieść człowieka tam, gdzie jest koszt
Nie każdy wynik AI wymaga przeglądu, a przeglądanie wszystkich gwarantuje, że żadnemu nie zostanie poświęcona właściwa uwaga. Przydatne pytanie brzmi nie "czy to ważne", ale "jaki jest koszt błędu i czy możemy go odzyskać".
Model, który sporządza notatki z wewnętrznych spotkań, może działać bez nadzoru; zły zapis jest tani i oczywisty. Model, który ustala kwotę zwrotu dla klienta, wypełnia formularz regulacyjny lub wysyła e-mail do klienta, wymaga punktu kontrolnego, ponieważ błąd jest kosztowny i trudny do naprawienia. Sortuj decyzje dotknięte przez AI według kosztu popełnienia błędu i trudności w jego odwróceniu. Element z najwyższym priorytetem otrzymuje interwencję człowieka. Reszta działa automatycznie, z próbkowaniem.
Zaprojektuj decyzję, nie tylko szybki przegląd
Punkt kontrolny działa skutecznie tylko wtedy, gdy osoba dokonująca przeglądu może wydać niezależną ocenę w czasie, jaki faktycznie ma do dyspozycji. Oznacza to, że interfejs musi pokazywać więcej niż tylko odpowiedź.
- Pokaż uzasadnienie lub źródło, a nie tylko wniosek - wiersz faktury, z którego pochodzi numer, klauzula regulaminu, na której opiera się decyzja.
- Zwróć uwagę na niepewność modelu, aby przypadki o niskiej pewności były bardziej szczegółowo badane niż rutynowe.
- Ułatw odrzucenie tak samo łatwo jak zatwierdzenie, z wymaganym uzasadnieniem. Jeśli "nie" wymaga trzech dodatkowych kliknięć, a "tak" jednego, zaprojektowałeś stempel gumu.
- Daj osobie dokonującej przeglądu wystarczająco dużo kontekstu, aby mogła się sprzeciwić, ale nie tak wiele, że każdy przypadek zajmuje dwadzieścia minut. Dopasuj czas do dostępnego czasu na przegląd każdego elementu.
Jeśli osoba dokonująca przeglądu nie może wyjaśnić, dlaczego zatwierdziła coś, to po prostu to obserwowała.
Obserwuj cichą formę porażki
Przewidywalny sposób, w jaki nadmierna automatyzacja niszczy nadzór polega na tym, że gdy model jest prawidłowy w 95% przypadków, osoby dokonujące przeglądu uczą się mu ufać, a ich wskaźnik zatwierdzeń zbliża się do 100%. Te 5%, które wymagają interwencji, wymyka się, ponieważ wykrycie ich wymaga zachowania ostrożności wobec silnego uprzedzenia, że wszystko jest w porządku.
Nie da się tego naprawić przypomnieniem o "zachowaniu czujności". Naprawisz to strukturą. Śledź wskaźnik anulowania przez osoby dokonujące przeglądu w czasie - jeśli spadnie blisko zera, albo model się poprawił, albo osoby dokonujące przeglądu przestały zwracać na to uwagę, a musisz wiedzieć, co się stało. Okresowo wstawiaj znane złe przypadki i sprawdź, czy są one wychwytywane. Rotuj osoby dokonujące przeglądu, zanim zmęczenie się przejawi. Traktuj punkt kontrolny, który nigdy nie odrzuca niczego jako uszkodzony, a nie udany.
Upewnij się o prawdziwej władzy
Człowiek w pętli bez mocy zatrzymania procesu to dekoracja. Osoba dokonująca przeglądu potrzebuje autentycznego "nie", które zatrzymuje przepływ pracy, przekierowuje przypadek do kogoś starszego lub uruchamia ręczny tryb - a organizacja musi zaakceptować, że czasami spowolni to proces. Jeśli kierownictwo cicho karze każdego, kto blokuje przepływy, osoby dokonujące przeglądu szybko otrzymają sygnał i przestaną blokować. Nadzorowany przez ciebie mechanizm zniknie, a pozostanie tylko pozory kontroli.
Decyduj z wyprzedzeniem, kto jest odpowiedzialny za wynik, gdy człowiek zatwierdza złą decyzję AI. Jeśli odpowiedź brzmi "model", nie umieściłeś człowieka w pętli. Zamiast tego znalazłeś kogoś do obwinienia.
Zaplanuj zmianę pętli
Nadzór to nie stały koszt, który płacisz na zawsze. Gdy zbierzesz dane dotyczące miejsc, w których model jest niezawodny i gdzie nie, możesz wycofać ludzi z przypadków, w których nigdy nic nie wychwycą, i skoncentruj ich tam, gdzie interwencje faktycznie się zdarzają. Pętla powinna się zwężać z czasem w niektórych miejscach i pozostać stabilna w innych. To działa tylko wtedy, gdy od początku mierzyłeś wskaźniki anulowania i koszty błędów, a nie traktowałeś "człowieka w pętli" jako zaznaczonego pola na liście startowej.
To nieglamorna część wdrażania AI - punkty kontrolne, ślady audytu, uczciwe rozliczanie kosztów błędów. To również miejsce, gdzie rzeczywista wartość i ryzyko faktycznie istnieją. W Hercules A to właśnie ta część, którą nosimy dla Ciebie: wbudowanie nadzoru w system, a nie przyczepienie przeglądacza na końcu i nazywanie tego bezpiecznym.