Il conto dopo la costruzione: quanto costa veramente far funzionare un sistema di intelligenza artificiale

La fattura che va oltre il lancio

La maggior parte dei budget per l'intelligenza artificiale si esaurisce al momento del lancio. La proposta dovrebbe coprire la fase di scoperta, sviluppo, integrazione e una data di avvio. Successivamente, il sistema rimane in funzione per due anni, ma i costi di questi due anni spesso rimangono ignoti. Ecco ciò che effettivamente appare nella fattura.

La bolletta previsionale: la parte calcolabile

Le tariffe del modello sono calcolate per token, approssimativamente per parola in ingresso e per parola in uscita. Questo le rende prevedibili se si esegue una semplice operazione matematica.

Immagina un assistente di supporto interno che gestisce 8.000 conversazioni al mese, con sei turni ciascuno. Ciò equivale a 48.000 chiamate al modello. Ogni chiamata include le tue istruzioni, i documenti recuperati e la conversazione fino a quel momento, per un totale di circa 5.000 token in ingresso e restituisce circa 400 token in uscita. Acquisisci 240 milioni di token in ingresso e 19 milioni di token in uscita al mese. A prezzi di modello medio, ciò si traduce in circa 1.000 dollari al mese, e il caching delle istanze ripetute può ridurre significativamente i costi.

Due aspetti sorprendono le persone: primo, l'ingresso domina: paghi per tutto ciò che invii, ad ogni turno, e la lunghezza del contesto è il principale fattore di costo che puoi controllare. Secondo, i tentativi di ripetizione, le esecuzioni di valutazione e i test interni aggiungono tra il 15% e il 30% sul traffico di produzione. Budgetta l'importo lordo, non quello pulito.

I prezzi per token del modello sono costantemente in calo. Tuttavia, la spesa totale tende ad aumentare, poiché l'uso cresce e i modelli più recenti vengono utilizzati per compiti più complessi. Pianifica il volume, non le tariffe.

Le bollette nascoste nella proposta

Le tariffe del modello raramente rappresentano la voce più importante. Il resto dei costi di gestione è costituito da attività operative ordinarie che i sistemi di intelligenza artificiale tendono a richiedere in misura maggiore:

• Revisione umana: ogni settimana, qualcuno esamina un campione delle uscite reali e valuta se la qualità sia mantenuta. Per un sistema rivolto ai clienti, prevedi alcune ore a settimana, in modo permanente.
• Infrastruttura intorno al modello: indici di ricerca, archivi vettoriali, registrazione e pipeline per mantenere aggiornati i tuoi documenti. Modesti individualmente, costanti nel loro insieme.
• Lavoro di modifica: nuovi prodotti, nuove politiche, nuovi casi limite che il sistema gestisce male. Aspettati un piccolo flusso costante di aggiustamenti piuttosto che rilascioni occasionali importanti.
• Modifiche fornitore: i modelli vengono deprecati secondo programmi pubblicati. La migrazione a un modello successore comporta il retest di tutto ciò che il vecchio modello faceva bene, tipicamente una volta all'anno.
• Conformità e registri: conservazione, controllo degli accessi e tracciabilità della cronologia delle interazioni del sistema con un cliente.

Lo scivolamento è l'articolo imprevisto

Il software fallisce in modo rumoroso. I sistemi di intelligenza artificiale si degradano in modo silenzioso e rimangono sicuri di sé durante tutto il processo.

La tua attività deriva per prima. I prezzi cambiano, un prodotto viene ritirato, una politica viene riscritta. Il sistema continua a rispondere con la versione che gli è stata data, fluentemente e erroneamente, fino a quando qualcuno non nota.

I tuoi utenti derivano successivamente. Una volta che le persone imparano ciò che il sistema gestisce, spingono in territori adiacenti non previsti. Il traffico che sembrava una risposta alle FAQ diventa l'interpretazione dei contratti, e l'accuratezza misurata al lancio non descrive più ciò che accade.

Anche il tuo contenuto deriva. Il recupero su 400 documenti si fa più vago con 4.000, poiché più corrispondenze vicine fanno uscire la risposta giusta dai risultati.

Tutto ciò non scatena un allarme. Si manifesta mesi dopo sotto forma di escalation in aumento, utilizzo in calo o reclamo da parte di un cliente che ha agito in base a qualcosa detto dal sistema. A quel punto, la correzione costa più del monitoraggio avrebbe richiesto.

La difesa è poco glamour e a basso costo: campionare 50-100 interazioni reali al mese, valutarle rispetto a ciò che direbbe un buon dipendente e tracciare il punteggio nel tempo. Una sola persona, mezzo giorno al mese. Questa singola abitudine rileva quasi tutti i casi di fallimento sopra mentre sono ancora piccoli.

Un budget che resiste al contatto con la realtà

Pianifica una spesa annuale di gestione tra il 30% e il 50% del costo di costruzione per i primi due anni. Sotto il 20%, il sistema viene trascurato e la curva di qualità ne risentirà. Sopra il 60%, o la costruzione ha lasciato troppe cose in sospeso, o il caso d'uso è più volatile di quanto sembrasse inizialmente.

Dividi quel numero in tre bucket: utilizzo (tariffe del modello e infrastruttura, scalabilità con il volume), custodia (revisione, monitoraggio, registri - approssimativamente fisso) e modifica (adattamento alla tua attività e al piano del fornitore). I bucket si comportano diversamente, quindi una singola cifra media ingannerà la prima volta che il volume raddoppia.

Poi nomina un proprietario. Un sistema di intelligenza artificiale senza un proprietario nominato e una linea di budget stanziata non viene mantenuto; viene tollerato fino a quando non viene silenziosamente abbandonato. Questo è il vero costo di saltare questo processo - non lo spreco, ma il pagamento per una costruzione due volte.

Fai il calcolo del tasso di utilizzo prima della costruzione, non dopo. Il numero cambia spesso ciò che decidi di costruire, ed è esattamente la sua funzione. È il primo calcolo che facciamo con un cliente e occasionalmente è la ragione per cui raccomandiamo un sistema più piccolo di quello che ci hanno chiesto inizialmente.