Twoje AI potrzebuje rejestratora lotu, a ty zbudujesz go w pierwszy dzień.
Garstka zapisów, które pozwalają wyjaśnić każdy wynik AI kilka miesięcy później i wykryć zmiany jakości przed klientem.
Kiedy system sztucznej inteligencji osiągnie etap produkcyjny, pierwszym trudnym pytaniem nie jest jak on działa. Klient kwestionuje cytowaną cenę. Audytor pyta, na podstawie czego podjęto decyzję. Ktoś w twoim zespole zauważa, że podsumowania pogorszyły się w tym miesiącu i nie może powiedzieć od kiedy.
Wtedy albo posiadasz te dane, albo ich nie masz, a później już je nie odtworzysz. Ponowne zadanie tego samego pytania dzisiaj daje ci dzisiejszą odpowiedź z dzisiejszym modelem, dzisiejszym promptem i dzisiejszymi danymi. To nie jest dowód niczego.
Rejestrowanie to decyzja podjęta w dniu uruchomienia. Dodane później obejmuje jedynie to, co dzieje się dalej.
Sześć czynników wpływających na generowanie odpowiedzi
Odpowiedź AI jest wynikiem małej grupy danych wejściowych. Zapisz je wszystkie podczas każdego wywołania, od pierwszego żądania:
- Żądanie - unikalny identyfikator, znak czasu, kto lub co go złożyło oraz dokładne tekstowe lub dane przesłane.
- Kontekst - każdy dokument, zapis lub wiersz, który system pobrał i umieścił przed modelem, z indywidualnym identyfikatorem oraz wersją każdego.
- Instrukcje - szablon promptu plus wszystko złożone w czasie rzeczywistym, wraz z wersją szablonu.
- Model - dokładny identyfikator modelu, nie tylko nazwa rodziny, wraz z ustawieniami użytych: temperaturą, limitami tokenów oraz narzędziami, które mógł wywołać.
- Wyjście - surowa odpowiedź przed jakimkolwiek oczyszczeniem oraz przetworzona wersja, jeśli różnią się od siebie.
- Konsekwencja - co się wydarzyło dalej: pokazane użytkownikowi, wysłane do klienta, użyte do zatwierdzenia roszczeń i czy osoba ją zaakceptowała, edytowała lub odrzuciła.
Bez kontekstu i instrukcji pozostajesz z połową rozmowy. Możesz zobaczyć, co system odpowiedział, ale nie możesz ustalić, dlaczego ta odpowiedź była uzasadniona.
Wersje to część, którą wszyscy pomijają
Trzy rzeczy zmieniają się pod systemem AI bez tego, że ktoś złoży wniosek o zmianę. Ktoś edytuje prompt we wtorek popołudniu. Dostawca aktualizuje model za tą samą nazwą API. Bazę wiedzy ponownie indeksują i system zaczyna pobierać różne dokumenty dla tego samego pytania.
Każde z nich może wpłynąć na jakość, a żaden z nich nie pojawia się w logu wyjściowym. Zapisz identyfikator wersji promptu, modelu i indeksu danych na każdym wywołaniu, a pytanie "co zmieniło się między dobrym tygodniem a złym" zajmie kilka minut do odpowiedzi. Bez nich to zajmuje tydzień przypuszczeń, często podczas gdy ktoś starszy czeka.
Poprawki dokonane przez ludzi są najlepszym sygnałem
Gdy osoba edytuje wstęp AI przed wysłaniem go, powiedziała ci dokładnie, co było nie tak, w najbardziej konkretnych terminach dostępnych. Zapisz oryginalny obok edytowanego wersjonu.
Jeśli to zrobisz, dwa rzeczy się zdarzają. Wskaźnik edycji staje się miarą jakości, którą możesz wykreslić tygodniowo i która pojawia się przed skargami. A korekty gromadzą się w zestawie przykładów, które możesz wykorzystać do poprawy systemu, zbudowanych z twojej własnej pracy zamiast kupionych lub wymyślonych.
Degradacja to porównanie, nie alarm
Nic nie powiadomi cię o pogorszeniu jakości wyjść. Degradacja jest stopniowa i każda indywidualna odpowiedź wygląda przekonująco.
Praktyczny sposób polega na utrzymaniu stałego zestawu rzeczywistych żądań - stu wystarczy, wybranych z rzeczywistego ruchu i obejmujących twoje trudne przypadki - i powtarzaniu ich co miesiąc. Porównaj nowe odpowiedzi z zapisanymi. Gdzie różnią się, osoba przeczyta obie i powie, która jest lepsza. To działa tylko jeśli zachowasz dane wejściowe, które jest argumentem za rejestrowaniem ich.
Połącz to z liczbami, które już posiadasz: wskaźnik edycji, wskaźnik odrzucenia, eskalacja do człowieka, procent odpowiedzi, gdzie system nie znalazł żadnych istotnych dokumentów. Wzrost tego ostatniego zazwyczaj oznacza, że twoje dane stały się nieaktualne, a nie że model się pogorszył.
Zdecyduj o przechowywaniu i redagowaniu najpierw
Te logi zawierają wszystko, co wpisali twoi klienci, co oznacza, że niosą te same obowiązki co jakiekolwiek inne dane osobowe. Klasyfikuj pola zgodnie z tym, jak są pisane, maskuj lub tokenizuj to, czego nie trzeba czytać, i przechowuj logi oddzielnie od aplikacji, aby awaria w jednej nie wzięła ze sobą zapisów.
Ustal celowo okres przechowywania. Dla decyzji o znaczeniu kontraktowym lub regulacyjnym, przechowuj zapis tak długo jak trwa narażenie, i uczyn z tego magazynu tylko do dodawania, aby nikt nie mógł cicho zmienić historii. Dla rutynowego ruchu, krótszy jest lepszy i tańszy. Przypisz jedną osobę do polityki.
Koszt przechowywania to łatwa część. Droższe jest dopasowywanie wszystkich tych zapisów do żyjącego systemu podczas gdy już pytasz się o wyjaśnienie odpowiedzi, której nie możesz usprawiedliwić. Budujemy te zapisy od samego początku, ponieważ są one tym, co przekształca system AI z czegoś, w co wierzysz, w co możesz udowodnić.