Demo zawsze działa: Jak odróżnić prawdziwy system sztucznej inteligencji od przygotowanego na pamięć.
Praktyczne pytania do zadawania dostawcy AI, które ujawniają, czy ich demonstracja odzwierciedla działający system czy starannie przygotowaną drogę przez jeden.
Przygotuj własne dane wejściowe
Najbardziej przydatną rzeczą, jaką możesz zrobić podczas spotkania z dostawcą, jest wzięcie sterowania komputerem. Podaj im dokument z własnej działalności: chaotyczny kontrakt, wątek wsparcia z trzema osobami rozmawiającymi nad sobą, faktura od najgorszego formatującego dostawcy. Poproś ich o przetworzenie go na żywo bez przygotowania.
Obserwuj zmiany. Czas reakcji, obawy, formatowanie, pewność odpowiedzi. System, który zachowuje się spójnie przy danych, które nikt nie ustrukturyzował, spotkał rzeczywistość przynajmniej raz.
Jeśli dostawca odmówi, zapytaj dlaczego. "Twoje dane nie są załadowane do środowiska testowego" to uczciwa odpowiedź. Przyjmij ją, a następnie umieść ten test na piśmie jako warunek przed podpisaniem umowy, wraz z Twoimi plikami i definicją przejścia.
Zapytaj o to, co dzieje się, gdy jest błąd
Na chwilę zignoruj wskaźnik dokładności i zapytaj o resztę. Jeśli system jest prawidłowy 92% czasu, jak wygląda ten pozostały 8% z perspektywy użytkownika? Istnieją tylko trzy opcje: system mówi, że nie wie, eskaluje do osoby lub generuje pewną odpowiedź.
Systemy, które głośno się psują, są tanie w obsłudze. Systemy, które cicho się psują, są drogie, ponieważ koszt ponosi klient, który działał na podstawie złych informacji oraz pracownik, który spędza tydzień na rozwiązywaniu problemu.
Następnie poproś o pokazanie przypadku, w którym system odmówił odpowiedzi. Zespoły z działającym produktem zazwyczaj chętnie je pokazują, ponieważ powstrzymanie jest trudną częścią do zbudowania.
Zapytaj skąd pochodzi odpowiedź
Cokolwiek dotyczy Twoich własnych materiałów - regulaminów, cen, kontraktów, specyfikacji produktu - powinno zawierać cytat źródła. Poproś o podanie cytatu, a następnie otwórz to źródło. Pytanie nie polega na tym, czy link się pojawił. Zamiast tego chodzi o to, czy cytowane dokument rzeczywiście stwierdza to, co twierdzi odpowiedź.
Zrób to dwa razy. Dwie weryfikacje powiedzą Ci więcej o systemie niż godzina prezentacji.
Zapytaj o dzień po zmianie danych
Prezentacje są oparte na zamrożonym fragmencie. Twoja działalność nie jest zamrożona. Te pytania odróżniają produkt od prototypu:
- Jak nowe lub poprawione informacje trafiają do systemu, jak często i kto ma za to odpowiedzialność?
- Gdy dokument zostanie usunięty lub zastąpiony, jak długo trwa, zanim system przestanie go używać?
- Czy system szanuje Twoje istniejące uprawnienia, czy wszyscy otrzymują te same odpowiedzi niezależnie od roli?
- Gdy podstawowy model ulegnie zmianie, czy masz możliwość testowania przed dotarciem do użytkowników?
- Kto jest na dyżurze, gdy system się zepsuje o dziewiątej w poniedziałek, i jaki jest czas reakcji?
Niewyraźne odpowiedzi tutaj są najsilniejszym sygnałem, który możesz otrzymać podczas spotkania. Zespół, który uruchomił coś w produkcji, przeżył wszystkie pięć.
Poproś o liczby, które kosztują coś do wyprodukowania
Procenty na slajdzie są za darmo. Zapytaj o liczby z kształtem: ilu użytkowników, przez ile miesięcy, w odniesieniu do czego i kto je zmierzył. "Rozwiązuje 60% biletów pierwszej linii" oznacza niewiele, dopóki nie będziesz wiedzieć, co kosztuje przekierowanie pozostałych 40%, czy to z dziesięcioma osobami w pilotażowym programie, czy z tysiącem osób przez rok.
Dobrzy dostawcy odpowiadają konkretnymi danymi i zastrzeżeniami. Ktoś, kto dostarczył prawdziwy system, dokładnie wie, gdzie występują napięcia, i mówi o tym bez nacisku.
Zapytaj co nie może zrobić
Poproś dostawcę o opisanie przypadków użycia, w których ich system jest kiepskim wyborem. Zaufany zespół będzie gotowy z tą odpowiedzią i zazwyczaj jest ona precyzyjna: długie dokumenty w skanowanej formie, języki poza zestawem oceny, wszystko wymagające oceny z potencjalnym ryzykiem prawnym.
Zespół, który twierdzi, że radzi sobie ze wszystkim, mówi Ci, że nie przetestowali go jeszcze wystarczająco mocno, aby znaleźć krawędzie. Zamiast tego odkryjesz je po podpisaniu umowy.
Ostatnie pytanie
Przed wyjściem, zapytaj o pokazanie tego, co widzi zwykły klient w typowy wtorek. Nie prezentacja, ale pulpit nawigacyjny, rejestr, kolejka eskalowanych przypadków, raport czytany w piątek rano. Prawdziwe systemy gromadzą tę nieatrakcyjną infrastrukturę, ponieważ ktoś musiał je obsługiwać. Zaplanowana prezentacja nie ma wtorków.