Come misurare se un progetto di intelligenza artificiale ha effettivamente funzionato
Un quadro pratico per valutare i progetti di intelligenza artificiale in base ai risultati aziendali - linee di base, metriche reali, costi totali e cosa monitorare dopo il lancio.
Definire il successo prima di scrivere il codice
Un progetto di intelligenza artificiale ha successo quando modifica un numero aziendale su cui ti stai già concentrando. Non la precisione, non la qualità della risposta, né l'"adozione" astratta. Un numero: ore di lavoro manuale rimosse, giorni tagliati da un processo, tassi di errore nelle fatture, costo per biglietto gestito, ricavi per rappresentante.
Scrivi quel numero prima che inizi il progetto, insieme all'obiettivo. "Il sistema dovrebbe ridurre il tempo di preparazione delle offerte da tre giorni a uno" è una dichiarazione verificabile. "Il sistema migliorerà l'efficienza" è una dichiarazione con cui si può essere d'accordo. Se il team non riesce a nominare il numero che il progetto dovrebbe raggiungere, il progetto non è pronto per essere finanziato.
Misurare la base prima
Non puoi dimostrare miglioramenti senza una base registrata. Prima che il sistema vada in produzione, dedica una settimana o due a catturare come funziona il processo oggi: quanto durano i compiti, quanto spesso vanno storti, cosa costano, chi li gestisce. Questo è un lavoro poco glamour e rappresenta il passo più spesso tralasciato nell'adozione dell'IA.
La base non deve essere perfetta. Dieci esempi cronometrati del processo attuale battono zero. Senza di essi, ogni conversazione successiva sul valore diventa opinione contro opinione.
Giudicare gli esiti, non le prestazioni del modello
I team tecnici riferiranno metriche tecniche - precisione, latenza, punteggi benchmark. Queste sono importanti per loro e non dovrebbero essere molto importanti per te. Un modello può essere il 95% preciso e ancora fallire come progetto perché il 5% sbagliato colpisce i clienti più importanti o perché il personale smette silenziosamente di usarlo a marzo.
Le metriche da esaminare a livello dirigenziale rientrano in quattro gruppi:
- Output: il lavoro è misurabilmente più veloce, più economico o migliore rispetto alla base?
- Adozione: quale quota del lavoro idoneo passa effettivamente attraverso il sistema e questa quota sta crescendo o diminuendo?
- Eccezioni: quanto spesso un essere umano deve intervenire, correggere o sovrascrivere - e questi casi stanno diventando più rari?
- Fiducia: le persone che lo usano obietterebbero a perderlo?
Il numero di adozione merita particolare attenzione. Un sistema utilizzato per l'8% dei casi idonei non ha funzionato, indipendentemente dalla sua precisione. La diminuzione dell'uso è il primo segnale onesto che qualcosa non va, e appare molto prima che qualcuno presenti una denuncia.
Calcolare l'intero costo
Il costo di costruzione è la parte visibile. Il vero totale include le parti in corso: costi di abbonamento e calcolo, tempo del personale dedicato alla revisione degli output, manutenzione quando un fornitore cambia un API o il processo su cui si basa il sistema cambia. Un progetto che risparmia venti ore a settimana ma consuma dieci in revisione e manutenzione ha un vero ritorno - la metà del ritorno di testa.
Fissa una revisione nella agenda a tre e sei mesi dopo il lancio e confronta l'intero costo operativo con il guadagno misurato. Molti progetti che sembravano marginali all'avvio diventano chiaramente positivi entro sei mesi; alcuni che hanno brillato durante la demo sono chiaramente negativi. Vuoi sapere quale hai mentre c'è ancora tempo per correggerlo o fermarlo.
Guardare al decadimento
Un sistema di intelligenza artificiale non è un ponte; non rimane costruito. I dati cambiano, l'azienda cambia, il modello dietro un API cambia senza preavviso. Un sistema che ha funzionato a gennaio può defilarsi tranquillamente a luglio e perché gli output sembrano plausibili, nessuno se ne accorge fino a quando un cliente non lo fa.
La soluzione è leggera: mantieni un piccolo set di casi noti con risposte corrette note e fai passare questi casi attraverso il sistema mensilmente. Se i risultati cambiano, scopri da te stesso tramite controlli interni piuttosto che dal mercato. Assegna questo a una persona nominata. Il decadimento che nessuno controlla non verrà notato.
Il test in una pagina
Se un progetto di intelligenza artificiale ha avuto successo, dovresti essere in grado di dichiararlo in una pagina: la base, l'obiettivo, il risultato misurato, l'intero costo e la tendenza dal lancio. Se questa pagina non può essere scritta, la conclusione onesta non è che il progetto sia fallito - è che nessuno sa, il che per l'azienda equivale alla stessa cosa.
Questa disciplina di misurazione è più pesante di quanto la maggior parte dei team si aspetti, ed è esattamente il peso che vale la pena portare - è ciò che distingue l'IA che funziona bene da quella che paga. È anche la parte dell'adozione di Hercules A costruita fin dall'inizio, quindi la domanda "ha funzionato?" ha sempre una risposta numerica.