Dlaczego Twoi piloci AI ciągle zawalniają przed uruchomieniem?

Większość firm eksperymentujących z AI ma swój "grób". To folder prezentacji, kilka nieaktywnych kanałów Slack i trzy lub cztery projekty pilotażowe, które dobrze działały w demonstracji, ale później cicho zniknęły. Nikt ich nie zabijał. Po prostu nigdy nie przekroczyły linii do codziennego użycia.

Komfortowa opowieść mówi, że te projekty były tanie eksperymenty, więc strata jest niewielka. Ta opowieść jest błędna. Projekt pilotażowy, który nigdy nie osiągnie produkcji, kosztuje znacznie więcej niż rachunek za jego budowę, a największe koszty w ogóle nie pojawiają się na rachunku.

Co faktycznie pochłania pilot?

Zacznij od tego, co można policzyć. Pilot zużywa godziny pracy inżynierów, opłaty za dostawców oraz uwagę osób, które zgodziły się go przetestować. Ale ludzie testujący pilota rzadko mają wolną zdolność. Zazwyczaj są to twoi najlepsi operatorzy, ponieważ są oni tymi, którzy rozumieją proces na tyle dobrze, aby ocenić, czy AI pomogło. Każda godzina spędzona na ocenie narzędzia, które nic nie dostarcza, to godzina odjęta od pracy, którą mogą wykonać tylko oni.

Następnie jest praca nad danymi. Większość poważnych pilotów wymaga kogoś do czyszczenia rekordów, etykietowania przykładów lub podłączania połączenia do żywego systemu. Ta praca jest rzeczywista i trwała - ale tylko jeśli pilot zostanie uruchomiony. Gdy się zatrzyma, oczyszczone dane wyjdą z daty, a integracja zostanie wyłączona. Zapłaciłeś za budowę aktywa, a potem pozwoliłeś mu wygasnąć.

Koszty, które nigdy nie docierają do księgowości

Droga część to to, co martwy pilot robi wszystkim, którzy go obserwowali.

Pierwszą ofiarą jest wiarygodność. Gdy obiecujące narzędzie jest pokazane zespołowi, a potem zniknie, ludzie uczą się, że projekty AI są teatrem. Następnym razem, gdy zaproponujesz jeden, silni operatorzy - ci sami, których potrzebujesz - wybiorą odmowę, ponieważ widzieli już jak to kończy. Nie zaczynasz nowego pilota od zera. Zaczniesz go od minusu, walcząc z samozaszczernym sceptycyzmem, który sam stworzyłeś.

Druga ofiara to termin. Podczas gdy twój pilot siedział w bezruchu oceny, podstawowe modele wciąż się poprawiały, a konkurenci wciąż wysyłali swoje produkty. Korzyść, którą liczyłeś zdobyć w demonstracji, nigdy nie była w samych pokazach. Była w miesiącach kumulującego uczenia się, które zaczynają się dopiero wtedy, gdy rzeczywisi użytkownicy zależą od systemu. Pilot, który nigdy nie zostanie uruchomiony, nie daje ci tych miesięcy.

Dlaczego piloty się zatrzymują?

Piloty rzadko zawiodą, ponieważ technologia nie działa. Zatrzymują się z powodów obecnych przed napisaniem pierwszej linii kodu:

• Brak właściciela z uprawnieniami do uruchomienia. Pilot sponsorowany przez "innowację", ale nie przez zespół, który go uruchomił, nie ma drogi do produkcji.
• Sukces nigdy nie został zdefiniowany. Jeśli nikt wcześniej nie uzgodniono, jaki wynik uzasadniłby wdrożenie, każdy wynik wygląda na "interesujący, kontynuujmy eksplorację".
• Ostatni kilometr był poza zakresem. Uprawnienia, monitorowanie, obsługa błędów i wsparcie są traktowane jako pomysły na później, więc działające prototypy są wciąż miesiące od tego, by być bezpieczne do użycia.
• Pilot rozwiązał pokazowy przypadek, nie zadanie pracy. Imponująco obsługiwał czysty przypadek i ignorował brudne 30%, które stanowi większość rzeczywistej pracy.

Zwróć uwagę, że żaden z tych problemów nie jest problemem modelu. Są to decyzje dotyczące własności, zakresu i zaangażowania podjęte na początku.

Uruchamiaj piloty tak, jakby miały zostać uruchomione

Rozwiązanie polega na zaprzestaniu traktowania pilota jako pytania o technologię i rozpoczęciu traktowania go jako pierwszej fazy produkcji. Przed rozpoczęciem określ osobę odpowiedzialną za narzędzie w produkcji i daj jej prawo weta. Napisz pojedynczą liczbę, która wyzwoli wdrożenie, i liczbę, która wyzwoli bezpieczne wyłączenie. Umieść nieatrakcyjną ostatnią milę - dostęp, monitorowanie, awaryjne działanie modelu - wewnątrz zakresu pilota, a nie po nim. Wybierz rzeczywistą pracę z rzeczywistym wolumenem, a nie pokazowy scenariusz.

To zajmuje więcej czasu na start, i tak ma być. Mniejsza liczba pilotów zbudowanych do uruchomienia pokona zatłoczony kanał eksperymentów, które nigdy nie opuszczą laboratorium, zarówno pod względem wyników, jak i zaufania, jakie zachowujesz wobec swojego zespołu.

W Hercules A to jest pierwsze, na co zwracamy uwagę, gdy wysiłek AI klienta się zatrzymuje - nie lepszy model, ale braki w własności i niewyraźna linia mety. Technologia rzadko jest wąskim gardłem.

Pilot nie jest udany, ponieważ działał. Jest udany, jeśli ludzie zaczęli na nim polegać i zauważyliby jego brak. Wszystko inne to koszt, który już zapłaciłeś i jeszcze nie zliczyłeś.