Problem przekazania zadań: co Twoj zespół musi posiadać przed odejściem konsultantów

Co oznacza rzeczywiste posiadanie systemu AI?

Posiadanie systemu AI nie ogranicza się do otrzymania folderu dokumentów w ostatnim dniu. Oznacza to cztery praktyczne możliwości wewnątrz Twojej firmy:

• Możliwość działania: Ktoś wie, jak sprawdzić, czy system działa poprawnie i otrzymuje powiadomienie, gdy coś poszło nie tak.
• Możliwość modyfikacji: Osoba może dostosować regułę, dodać źródło dokumentów lub zaktualizować prompt bez otwierania biletu pomocy technicznej.
• Możliwość oceny: Ktoś potrafi odróżnić dobrą od złej odpowiedzi, opierając się na dowodach, a nie tylko na wrażeniach.
• Możliwość zastąpienia: Wiesz, na czym system zależy, jakie są koszty przeniesienia i kto mógłby wykonać tę pracę.

Większość przekazów obejmuje jedynie pierwszą możliwość, pomijając pozostałe trzy, co prowadzi do drifta systemów.

Ważna dokumentacja

Dokumentacja jest tworzona, aby spełnić wymogi kontraktowe, dlatego opisuje architekturę, z którą nikt nigdy nie będzie miał styczności, i pomija rzeczy, które ludzie naprawdę potrzebują. Utrzymuj listę krótką i wymagaj następujących elementów:

• Podręcznik obsługi awarii: Pięć najczęstszych problemów, jak wyglądają z zewnątrz i pierwsze trzy kroki do ich rozwiązania. Napisane dla osoby na dyżurze, a nie dla inżyniera.
• Zestaw oceny: 100-200 rzeczywistych przypadków z prawidłową odpowiedzią dla każdego, uzgodnionych przez osoby wykonujące tę pracę. Jest to najcenniejszy element całego projektu.
• Log zmian z uzasadnieniem: Nie tylko co zostało skonfigurowane, ale dlaczego reguła istnieje. Reguły bez uzasadnienia są usuwane przez następnego użytkownika.
• Arkusz zależności i kosztów: Każdy model, interfejs API i dostawca; koszt miesięczny; daty odnowienia kontraktu; co się stanie, jeśli zniknie.
• Mapa danych: Jakie dane są przesyłane, kto może je zobaczyć i jak długo są przechowywane. Twoje zespoły prawne i bezpieczeństwa będą potrzebować tego bez wcześniejszego ostrzeżenia.

Pozostałe elementy są opcjonalne. Jeśli dokument nie pomaga komuś w działaniu, modyfikacji, ocenie lub zastąpieniu systemu, jest to tylko dekoracja.

Trzy osoby, których potrzebujesz

Nie musisz zatrudniać zespołu uczenia maszynowego. Potrzebujesz trzech nazwisk osób i powinieneś je określić na początku projektu, a nie w ostatnim miesiącu.

• Właściciel biznesowy: Osoba decydująca o tym, co system ma robić i dysponująca budżetem. Zatwierdza zmiany i odrzuca zakres pracy. Ta rola nie jest techniczna.
• Opiekun techniczny: Ktoś, kto potrafi przeczytać konfigurację, wprowadzić kontrolowane zmiany, przetestować je i wdrożyć. Często istniejący programista lub inżynier IT z wyznaczoną przestrzenią pracy. Nie musi budować modeli; musi być w stanie modyfikować i wdrażać to, co istnieje.
• Właściciel jakości: Osoba z działu, dla którego system jest przeznaczony - starszy specjalista ds. roszczeń, główny pielęgniarz lub szef zespołu obsługi. Odpowiada za zestaw oceny i określa, co oznacza "dobra" odpowiedź. Bez tej roli jakość stanie się kwestią opinii w ciągu kilku tygodni.

Całkowity koszt wewnętrzny: zazwyczaj ułamek pełnego czasu jednej osoby dla każdej z tych ról, gdy system jest stabilny. Tryb niepowodzenia nie jest kosztem; jest to brak wyznaczenia osób.

Przetestuj przekazanie, zanim będzie za późno

Nie akceptuj dokumentacji jako dowodu przekazania. Przeprowadź test na żywo w ostatnich tygodniach projektu, gdy konsultanci są jeszcze pod kontraktem.

Wybierz rzeczywistą zmianę - dodaj nowy produkt do bazy wiedzy, ścislij regułę dotyczącą tego, co system odmawia odpowiedzi lub zamień aktualną tabelę cenową. Poproś swój własny zespół o wprowadzenie tych zmian, z konsultantami w pokoju, ale milczącymi. Zmierzyć czas. Następnie poproś właściciela jakości o uruchomienie zestawu oceny i potwierdzenie, że nic innego nie zostało uszkodzone.

Jeśli Twój zespół wykona to w ciągu dnia, jesteś właścicielem systemu. Jeśli zajmie to tydzień i trzy pytania, odkryjesz dokładnie luki, które należy zamknąć przed zakończeniem faktur. Każdy wynik jest wart znacznie więcej niż podpisany formularz przekazania.

Wpisz to do kontraktu na początku. Milestones przekazania, określona drużyna odbiorcza i testowany przekaz systemu są łatwiejsze do negocjacji przed rozpoczęciem pracy niż później.

Tak budujemy w Hercules A, a oznacza to, że nasze projekty kończą się. I to jest cel. Miara dobrego projektu AI nie leży w głębokim zakorzenieniu konsultantów rok później - leży w pewności siebie Twoich własnych ludzi modyfikujących system bez dzwonienia do nikogo.