Jak zmierzyć, czy projekt AI rzeczywiście działał?
Praktyczne ramy oceny projektów AI na podstawie wyników biznesowych - punkty odniesienia, rzeczywiste metryki, pełne koszty i co obserwować po uruchomieniu.
Pomyśl o "sukcesie" zanim zaczniesz kodować
Projekt AI ma sukces, gdy zmienia istniejącą liczbę biznesową, która jest dla Ciebie ważna. Nie chodzi tu o dokładność, jakość odpowiedzi ani abstrakcyjne "przyjęcie". Chodzi o liczbę: usuniętych godzin pracy ręcznej, skróconych dni procesu, błędów w fakturach, kosztu na obsłużony bilet lub przychody na przedstawiciela.
Zapisz tę liczbę i cel przed rozpoczęciem projektu. "System powinien skrócić czas przygotowywania ofert z trzech dni do jednego" to roszczenie, które można zweryfikować. "System poprawi efektywność" to roszczenie, z którym możesz się tylko zgodzić. Jeśli zespół nie jest w stanie wymienić liczby, którą projekt powinien osiągnąć, projekt nie jest gotowy do finansowania.
Zmierz bazę najpierw
Nie możesz pokazać poprawy wobec bazy, której nikt nie zarejestrował. Przed uruchomieniem systemu poświęć tydzień lub dwa na rejestrowanie, jak proces działa obecnie: ile czasu trwają zadania, jak często się psują, ile kosztują, kto je wykonuje. Jest to nudna praca i jest najczęściej pomijanym krokiem w przyjęciu AI.
Baza nie musi być idealna. Dziesięć czasowanych przykładów obecnego procesu bije zero. Bez nich każda późniejsza rozmowa o wartości staje się opinią kontra opinią.
Oceniaj wyniki, a nie wydajność modelu
Zespoły techniczne będą raportować metryki techniczne - dokładność, opóźnienie, wyniki testów benchmarkowych. Te wskaźniki są dla nich ważne i nie powinny być dla Ciebie istotne. Model może być 95% dokładny i wciąż nie mieć sukcesu jako projekt, ponieważ te 5% błędów wpadają na Twoich najważniejszych klientów lub pracownicy po prostu przestali go używać w marcu.
Metryki warte przeglądu na poziomie kierowniczym to cztery grupy:
- Wynik: czy praca jest szybsza, tańsza lub lepsza niż baza
- Przyjęcie: jaka część kwalifikującej pracy faktycznie przechodzi przez system i czy ten udział rośnie lub maleje
- Wyjątki: jak często człowiek musi interweniować, poprawiać lub przekazywać - i czy te przypadki stają się rzadsze
- Zaufanie: czy ludzie, którzy go używają, sprzeciwialiby się jego utracie
Liczba przyjęcia zasługuje na szczególną uwagę. System używany dla 8% kwalifikującej pracy nie miał sukcesu, niezależnie od dokładności. Spadające wykorzystanie jest najwcześniejszym uczciwym sygnałem, że coś jest nie tak i pojawia się długo przed tym, jak ktoś złoży skargę.
Zliczaj całkowity koszt
Koszt budowy jest widoczną częścią. Prawdziwy całkowity koszt obejmuje stałe elementy: koszty subskrypcji i obliczeń, czas poświęcony przez personel na przeglądanie wyników oraz konserwacja, gdy dostawca zmienia API lub proces, w którym system został zbudowany ulega zmianie. Projekt, który oszczędza dwadzieścia godzin tygodniowo, ale zużywa dziesięć na przegląd i utrzymanie, ma rzeczywistą zwrotność - połowa oficjalnej.
Umów się na przegląd w trzech i sześciu miesiącach po uruchomieniu i porównaj pełne koszty operacyjne z zmierzonym zyskiem. Wiele projektów, które wyglądały marginalnie przy uruchomieniu, jest wyraźnie pozytywnych po sześciu miesiącach; niektóre, które świetnie zaprezentowały się podczas demonstracji, są wyraźnie negatywne. Chcesz wiedzieć, który masz, zanim minie czas na naprawę lub zatrzymanie go.
Obserwuj rozkład
System AI nie jest mostem; nie pozostaje zbudowany. Dane zmieniają się, biznes zmienia się, model za API zmienia się bez ostrzeżenia. System, który działał w styczniu, może cicho drifować do lipca i ponieważ wyniki nadal wyglądają wiarygodnie, nikt nie zauważy, aż klient to zrobi.
Rozwiązanie jest lekkie: utrzymuj mały zestaw znanych przypadków z znanymi poprawnymi odpowiedziami i uruchamiaj je przez system co miesiąc. Jeśli wyniki się zmienią, dowiesz się od własnych sprawdzeń, a nie od rynku. Przydziel to zadanie konkretnej osobie. Rozpad, który nikt nie zauważy, nie zostanie zauważony.
Jednoprzepustowy test
Jeśli projekt AI miał sukces, powinieneś być w stanie opisać go na jednej stronie: bazę, cel, wynik zmierzony, pełne koszty i trend od uruchomienia. Jeśli ta strona nie może zostać napisana, uczciwe wnioski nie są, że projekt zawiódł - to samo oznacza dla biznesu.
Ta dyscyplina pomiarowa jest cięższa, niż większość zespołów się spodziewa, i jest dokładnie taką wagą, którą warto niosąc - to co odróżnia AI, które dobrze demonstruje od AI, które płaci. Jest również częścią podejścia "Hercules A" do przyjęcia AI od samego początku, więc pytanie "czy to zadziałało?" zawsze ma liczbę na odpowiedź.