Demo-ul funcționează întotdeauna: Cum să distingi un sistem AI autentic de unul repetat.
Întrebări practice de pus unui furnizor de AI care dezvăluie dacă demonstrația lor reflectă un sistem funcțional sau o cale atent orchestrată printr-unul.
Aducerea propriilor date în întâlnire
Cea mai utilă acțiune pe care o poți face într-o întâlnire cu furnizorul este să iei tastatura. Predă sistemului un document din propria afacere: un contract dezordonat, un fir de asistență cu trei persoane care se întrerup reciproc, o factură de la cel mai puțin formatat furnizor. Cere-le să ruleze documentul în timp real, fără pregătire.
Observă schimbările. Timpul de răspuns, evaziunea, formatarea, încrederea răspunsului. Un sistem care rezistă în fața unei intrări neprelucrate a fost expus cel puțin o dată la realitate.
Dacă furnizorul refuză, întreabă-l de ce. "Datele tale nu sunt încărcate în sandbox" este un răspuns corect. Acceptă-l, apoi formalizează testul ca condiție înainte de semnare, cu fișierele și definiția ta de succes.
Întreabă ce se întâmplă când răspunsul este greșit
Ignoră pentru moment procentajul de acuratețe și întreabă despre restul de 8%. Dacă sistemul este corect în 92% din cazuri, cum arată cele 8% rămase din perspectiva utilizatorului? Există doar trei opțiuni: sistemul spune că nu știe, escaladează către o persoană sau oferă un răspuns încrezător, dar greșit.
Sistemele care eșuează zgomotos sunt ieftine de rulat. Sistemele care eșuează discret sunt scumpe, deoarece costul se îndreaptă către clientul care a acționat pe baza informațiilor greșite și către angajatul care petrece o săptămână rezolvând problema.
Întreabă apoi să vezi un caz în care sistemul a refuzat să răspundă. Echipele cu un produs funcțional de obicei prezintă aceste cazuri cu mândrie, deoarece autocontrolul este cea mai dificilă parte de construit.
Întreabă despre sursa răspunsului
Orice informație legată de materialul tău propriu - politici, prețuri, contracte, specificații de produse - ar trebui să citeze sursa. Cere o citare, apoi deschide-o. Întrebarea nu este dacă un link a apărut, ci dacă documentul citat afirmă cu adevărat ceea ce răspunde sistemul.
Fă asta de două ori. Două verificări îți spun mai multe despre un sistem decât o oră de prezentări.
Întreabă despre ziua după ce datele se schimbă
Prezentările se bazează pe o imagine înghețată. Afacerea ta nu este înghețată. Aceste întrebări disting un produs de un prototip:
- Cum intră informațiile noi sau corectate, cât de des și cine are responsabilitatea?
- Când un document este șters sau înlocuit, cât timp trece până când sistemul încetează să îl folosească?
- Sistemul respectă permisiunile tale existente, sau toți utilizatorii primesc aceleași răspunsuri indiferent de rol?
- Când modelul de bază se schimbă, ai posibilitatea de a testa înainte ca acesta să ajungă la utilizatorii tăi?
- Cine este disponibil în caz de defecțiune la ora 9 luni de marți și care este timpul de răspuns?
Răspunsurile vagi din partea furnizorului sunt cel mai puternic semnal pe care îl vei primi pe parcursul întâlnirii. O echipă care a lansat un produs în producție a trecut prin toate aceste cinci întrebări.
Cere cifre cu costuri implicite
Procentajele de pe o diapozitivă sunt gratuite. Cere cifre cu formă: câți utilizatori, pe cât de multe luni, măsurate față de ce referință și cine a măsurat-o. "Rezolvă 60% din biletele de nivel unu" înseamnă puțin până când știi ce costă redirecționarea celorlalte 40% și dacă această cifră provine dintr-un pilot cu zece persoane sau un an cu o mie.
Un furnizor bun răspunde cu specificități și rezervări. Cineva care a livrat un sistem real știe exact unde se confruntă cu dificultăți și spune așa fără a fi împins.
Întreabă ce nu poate face sistemul
Cere furnizorului să descrie cazurile de utilizare în care sistemul lor este o potrivire proastă. O echipă încrezătoare va avea acest răspuns pregătit și, de obicei, este precis: documente lungi în format scanat, limbi din afara setului lor de evaluare, orice necesită un judecat cu expunere legală.
O echipă care spune că gestionează orice este semnul că nu a testat sistemul suficient de riguros pentru a găsi marginile. Vei descoperi aceste margini mai târziu, după ce contractul este semnat.
Întrebarea finală
Înainte de a pleca, întreabă să vezi ce vede un client existent într-o zi obișnuită de marți. Nu prezentarea, ci tabloul de bord, jurnalele, coada cazurilor escaladate, raportul pe care cineva îl citește vineri dimineață. Sistemele reale acumulează această infrastructură neînglumită pentru că cineva a trebuit să le opereze. O prezentare repetiție nu are o marți.