La demo funziona sempre: come distinguere un vero sistema di intelligenza artificiale da uno preparato.

Portare il proprio input

La cosa più utile che puoi fare durante un incontro con un fornitore è prendere il controllo della tastiera. Consegna al sistema un documento dalla tua attività: un contratto disordinato, una discussione di supporto tra tre persone, una fattura dal tuo fornitore peggio formattato. Chiedi loro di eseguirlo in tempo reale, senza preparazione.

Osserva i cambiamenti. Il tempo di risposta, le esitazioni, il formato, la sicurezza della risposta. Un sistema che mantiene la sua forma su un input non preparato ha incontrato almeno una volta il mondo reale.

Se il fornitore rifiuta, chiedi perché. "I tuoi dati non sono caricati nell'ambiente sandbox" è una risposta valida. Accettala, poi formalizza la prova per iscritto come condizione prima di firmare, con i tuoi file e la tua definizione di superamento.

Chiedere cosa accade quando sbaglia

Ignora per un momento la percentuale di accuratezza e chiedi del resto. Se il sistema è corretto al 92% delle volte, come appare l'8% rimanente dal punto di vista dell'utente? Ci sono solo tre opzioni: dice che non sa, scala a una persona o produce una risposta sbagliata con sicurezza.

I sistemi che falliscono in modo rumoroso sono economici da gestire. I sistemi che falliscono in silenzio sono costosi, perché il costo ricade sul cliente che si basa su informazioni errate e sull'impiegato che passa una settimana a sistemare tutto.

Poi chiedi di vedere un caso in cui il sistema ha rifiutato di rispondere. I team con un prodotto funzionante di solito ne sono orgogliosi, perché la moderazione è la parte più difficile da costruire.

Chiedere da dove proviene la risposta

Tutto ciò che riguarda i tuoi materiali - politiche, prezzi, contratti, specifiche del prodotto - dovrebbe citare la fonte. Chiedi una citazione, poi apri il documento. La domanda non è se un link sia apparso. È se il documento citato dica effettivamente ciò che la risposta afferma.

Fai questo due volte. Due controlli ti diranno molto di più su un sistema di un'ora di presentazioni.

Chiedere informazioni sul giorno dopo i dati cambiano

Le demo si basano su uno snapshot congelato. La tua attività non è congelata. Queste domande separano un prodotto da un prototipo:

• Come entra nuova o corretta informazione, con che frequenza e chi ne è responsabile?
• Quando un documento viene eliminato o sostituito, quanto tempo ci vuole prima che il sistema smetta di usarlo?
• Il sistema rispetta le tue autorizzazioni esistenti, o tutti ottengono le stesse risposte indipendentemente dal ruolo?
• Quando il modello sottostante cambia, hai la possibilità di testarlo prima che raggiunga i tuoi utenti?
• Chi è in servizio quando si rompe alle 9 di lunedì e qual è il tempo di risposta?

Risposte vaghe qui sono il segnale più forte che riceverai durante l'incontro. Un team che ha gestito qualcosa in produzione ha vissuto tutti e cinque questi momenti.

Chiedere numeri che costano qualcosa da produrre

Le percentuali su una diapositiva sono gratuite. Chiedi numeri con una forma: quanti utenti, per quanto tempo, rispetto a quale base di riferimento, e chi li ha misurati? "Risolve il 60% dei ticket di primo livello" significa poco fino a quando non sai cosa costa il 40% rimanente, se proviene da un pilota con dieci persone o da un anno con mille.

I buoni fornitori rispondono con specificità e cautela. Chi ha consegnato un sistema reale sa esattamente dove incontra difficoltà e lo dice senza essere spinto.

Chiedere cosa non può fare

Chiedi al fornitore di descrivere i casi d'uso in cui il loro sistema è una cattiva scelta. Un team sicuro ha questa risposta pronta ed è solitamente precisa: documenti lunghi in formato scansionato, lingue al di fuori del loro set di valutazione, qualsiasi cosa che richieda un giudizio con esposizione legale.

Un team che afferma di gestire tutto sta dicendo che non ha ancora eseguito il sistema abbastanza duramente da trovare i bordi. Li troverai invece, dopo aver firmato il contratto.

L'ultima domanda

Prima di andartene, chiedi di vedere cosa vede un cliente esistente in una normale giornata di martedì. Non la demo: il dashboard, i log, la coda dei casi escalati, il rapporto che qualcuno legge il venerdì mattina. I sistemi reali accumulano questa attrezzatura poco glamour perché qualcuno doveva gestirli. Una demo preparata non ha un martedì.

Ci sediamo spesso dal lato acquirente del tavolo e il modello rimane lo stesso: i sistemi che sopravvivono a queste domande raramente appaiono impressionanti in una demo. Appaiono noiosi, specifici e strumentati. Ecco come appare il lavoro.