Il tuo AI ha bisogno di un registratore di volo, e lo costruisci il primo giorno.
Il piccolo insieme di registri che ti permette di spiegare qualsiasi output dell'AI mesi dopo e di individuare un calo della qualità prima di un cliente.
Quando un sistema di intelligenza artificiale raggiunge la produzione, la prima domanda cruciale non è mai come funziona. È perché lo ha detto. Un cliente contesta una quotazione. Un auditore chiede come è stata presa una decisione. Qualcuno nel tuo team nota che i riepiloghi sono peggiorati questo mese e non riesce a dire quando è iniziato.
In quel momento, o hai la registrazione o non ce l'hai, e non puoi ricostruirla in seguito. Ripetere la stessa domanda oggi ti dà la risposta odierna del modello odierno, il prompt odierno e i dati odierni. Questo non è una prova di nulla.
La registrazione è una decisione presa fin dall'inizio. Aggiunta successivamente, copre solo ciò che accade dopo.
Le sei cose che producono una risposta
Una risposta dell'IA è il prodotto di un piccolo insieme di input. Registra tutti e sette su ogni chiamata, dalla prima richiesta:
- La richiesta - un ID unico, un timestamp, chi o quale sistema ha fatto la richiesta e il testo o i dati presentati esattamente.
- Il contesto - ogni documento, registro o riga che il sistema ha recuperato e posto di fronte al modello, identificati individualmente con la versione di ciascuno.
- Le istruzioni - il template del prompt più qualsiasi assemblato in tempo reale, e la versione del template.
- Il modello - l'identificatore esatto del modello, non solo il nome della famiglia, insieme alle impostazioni utilizzate: temperatura, limiti di token, quali strumenti poteva chiamare.
- L'output - la risposta grezza prima di qualsiasi pulizia e la versione elaborata se le due differiscono.
- La conseguenza - ciò che è accaduto dopo: mostrato a un utente, inviato a un cliente, utilizzato per approvare una richiesta e se una persona l'ha accettato, modificato o rifiutato.
Lasciando da parte il contesto e le istruzioni, ti rimane solo metà della conversazione. Puoi vedere cosa ha risposto il sistema e non puoi stabilire perché quella risposta era ragionevole.
Le versioni sono la parte che tutti saltano
Tre cose cambiano sotto un sistema di intelligenza artificiale senza che nessuno presenti una richiesta di modifica. Qualcuno modifica un prompt martedì pomeriggio. Il fornitore aggiorna il modello dietro lo stesso nome API. L'indice della base di conoscenze viene rielaborato e il sistema inizia a recuperare diversi documenti per la stessa domanda.
Ognuna di queste può influenzare la qualità, e nessuna di esse appare nell'output del registro. Registra un identificatore di versione per il prompt, il modello e l'indice dei dati su ogni chiamata, e la domanda "cosa è cambiato tra una buona settimana e una cattiva settimana" si risolve in pochi minuti. Senza di esse, ci vuole una settimana di supposizioni, spesso mentre qualcuno senior attende.
Le correzioni umane sono il tuo miglior segnale
Quando una persona modifica una bozza generata dall'IA prima di inviarla, ha detto esattamente cosa era sbagliato, con i termini più specifici disponibili. Conserva la versione originale accanto a quella modificata.
Facendo questo, due cose seguono. Il tasso di modifica diventa un indicatore di qualità che puoi tracciare settimanalmente e si muove prima delle lamentele. E le correzioni si accumulano in un insieme di esempi che puoi utilizzare per migliorare il sistema, costruito con il tuo lavoro piuttosto che acquistato o inventato.
Il declino è una comparazione, non un allarme
Niente ti avviserà che gli output sono peggiorati. Il deterioramento è graduale e ogni singola risposta sembra plausibile.
Il metodo pratico è quello di mantenere un insieme fisso di richieste reali - cento sono sufficienti, scelte dal traffico effettivo e che coprono i tuoi casi più difficili - e ripeterle ogni mese. Confronta le nuove risposte con quelle archiviate. Dove differiscono, una persona legge entrambe e dice quale è migliore. Questo funziona solo se hai conservato gli input, che è l'intero argomento per la registrazione.
Accoppia questo con i numeri che già possiedi: tasso di modifica, tasso di rifiuto, escalation a un essere umano, la percentuale di risposte in cui il sistema non ha trovato documenti rilevanti. Un aumento di quest'ultima solitamente significa che i tuoi dati sono diventati obsoleti, non che il modello ha smesso di funzionare.
Decidi la conservazione e la redazione prima
Questi registri contengono tutto ciò che i clienti hanno digitato, il che significa che comportano gli stessi obblighi di qualsiasi altra informazione personale. Classifica i campi come sono scritti, mascherali o tokenizzali se non devono essere leggibili, e conserva i log separatamente dall'applicazione in modo che un guasto in uno non porti con sé la registrazione.
Imposta la conservazione deliberatamente. Per le decisioni con peso contrattuale o normativo, conserva il registro per tutta la durata dell'esposizione, rendendolo un archivio solo-appendente in modo che nessuno possa modificare tranquillamente la storia. Per il traffico routinario, meno è meglio e più economico. Assegna una persona al nome della politica.
Il costo di archiviazione è il meno oneroso. Il costo più elevato è l'integrazione di tutto questo in un sistema live mentre sei già sotto pressione per spiegare un output che non puoi giustificare. Costruiamo questi registri fin dall'inizio, perché sono ciò che trasforma un sistema di intelligenza artificiale da qualcosa in cui hai fiducia a qualcosa che puoi dimostrare.