Riparare o ricostruire: Cinque segnali che un sistema di intelligenza artificiale ha esaurito il suo corso

Un sistema AI non muore mai in modo improvviso che imponga una decisione

Continua a rispondere, a valutare e a produrre un file ogni mattina. Nel frattempo, il team trova soluzioni alternative, le richieste di cambiamento si accumulano e la spesa annuale aumenta senza che nessuno decida di aumentarla. La fine del ciclo di vita arriva con una lenta crescita dei costi per mantenerlo in vita, un tipo di costo che non appare mai nell'agenda.

Pertanto, la decisione viene rimandata. Ricostruire sembra costoso e distruttivo; continuare a utilizzare il sistema attuale sembra gratuito. Non lo è, e il compito di un leader qui è quello di notare il momento in cui i costi di mantenimento superano quelli di sostituzione.

I cinque segnali

Questi sono indicatori che si mantengono stabili tra diversi settori e tipi di sistemi. Anche solo uno di questi è un invito ad approfondire. Tre insieme significano che la decisione è già stata presa per te.

• Piccole modifiche non rimangono più piccole. Una regola di prezzo che richiedeva due giorni per essere modificata nel primo anno ora impiega tre settimane e influenza quattro altri aspetti. Il sistema ha accumulato così tanti casi speciali che nessuno può prevedere l'estensione di un cambiamento.
• I contorni del lavoro aggirano il processo ufficiale. Le persone esportano l'output e lo correggono in un foglio di calcolo prima che venga utilizzato da chiunque. Ora quel foglio di calcolo ha un proprietario, una convenzione di denominazione e un backup. Il sistema reale è quello di aggiramento; il sistema ufficiale è una fonte di dati.
• Non riesci a rispondere alle domande di base. Perché il sistema ha rifiutato questo cliente a marzo? Qual era la versione in esecuzione quando i numeri sono cambiati? Se nessuno può rispondere senza una settimana di ricerche, stai assumendo un rischio di personale e regolamentare che non hai quantificato.
• La conoscenza è detenuta da una o due persone. Ogni modifica dipende dalla stessa persona. Non stanno nascondendo nulla; sono semplicemente l'unica copia sopravvissuta delle decisioni di progettazione. Questo è un rischio di personale mascherato come tecnico.
• Il vincolo si è spostato. Il sistema è stato costruito attorno a una limitazione che non esiste più - una finestra contestuale, un soffitto di latenza, un prezzo per chiamata, una funzionalità che richiedeva tre componenti e ora ne richiede uno solo. Gran parte di ciò che mantieni è una struttura per un problema che è scomparso.

Cosa non è un segnale

Un singolo trimestre di scarsa qualità dell'output è solitamente un problema di dati, non di progettazione. Il rilascio di un nuovo modello non è motivo di ricostruzione; se il tuo sistema è ben strutturato, sostituire il modello è una modifica di configurazione e dovresti testare se è necessaria. Un incidente rumoroso non è prova sufficiente - gli incidenti si verificano intorno ai sistemi visibili, non a quelli fragili.

La distinzione importante è tra un sistema che funziona male e uno che è costoso da modificare. Il primo è risolvibile. Il secondo è una sentenza strutturale e nessuna quantità di patch può invertirla.

Prezza il costo del mantenimento, non solo la ricostruzione

Le proposte di ricostruzione perdono perché solo una parte del bilancio ottiene un numero. Inserisci un valore nell'altra parte prima di prendere una decisione.

Somma ciò che il sistema attuale ha consumato negli ultimi 12 mesi: ore di ingegneria per la manutenzione e gli incidenti, la fattura fornitore e computazionale, le ore che le persone dedicano alle correzioni manuali a valle, e il valore delle modifiche richieste dal business ma non eseguite. Questo ultimo elemento è solitamente il più grande e quasi mai considerato. Poi guarda lo stesso periodo di 2 anni fa. Se la linea sta aumentando mentre l'output è piatto, hai la tua risposta, e ce l'hai nella sola valuta con cui un consiglio di amministrazione argomenta.

Ricostruisci a fette e conserva i dati

La ricostruzione non significa un programma di due anni con una data di switchover. I sistemi che si sostituiscono bene lo fanno una capacità alla volta: metti in piedi il nuovo percorso per una stretta fetta di traffico, esegui la nuova versione accanto all'antica, confronta gli output su casi reali, sposta la fetta al nuovo sistema, ripeti. Il vecchio sistema rimane attivo fino a quando l'ultima fetta non è stata spostata. In nessun momento il business dipende da un unico fine settimana di switchover.

L'unica cosa degna di essere conservata è il dato - gli esempi etichettati, le correzioni, la registrazione di ciò che il sistema ha sbagliato e come le persone lo hanno corretto. Questa valutazione collettiva è l'effettivo asset prezioso. Il codice intorno ad esso è sostituibile e a un certo punto dovrebbe esserlo.

La maggior parte delle organizzazioni aspetta circa un anno troppo lungo. Il costo di quel periodo è raramente visibile, ed è proprio per questo che deve essere misurato. Abbiamo costruito la nostra pratica attorno al trasporto di questo peso per i nostri clienti, ma la misurazione spetta a te e vale la pena farlo prima del prossimo ciclo di bilancio piuttosto che dopo.