Il problema del passaggio di consegne: ciò che il tuo team deve possedere prima che vadano i consulenti

Cosa significa realmente la proprietà di un sistema AI

La proprietà di un sistema AI non si limita alla consegna di una cartella di documenti alla fine del progetto. Si tratta di quattro capacità pratiche all'interno della tua azienda:

• Gestire il sistema: qualcuno sa come verificare se funziona correttamente e viene informato in caso di malfunzionamenti.
• Modificare il sistema: qualcuno può adattare una regola, aggiungere una fonte di documenti o aggiornare un prompt senza dover aprire un ticket di supporto.
• Valutare il sistema: qualcuno è in grado di distinguere tra un output buono e uno cattivo, fornendo prove piuttosto che impressioni.
• Sostituire il sistema: si conosce la dipendenza del sistema, i costi per trasferirlo e chi altro potrebbe svolgere il lavoro.

La maggior parte delle consegne fornisce solo la prima capacità, trascurando le altre tre, motivo per cui i sistemi tendono a deteriorarsi nel tempo.

La documentazione che conta davvero

La documentazione viene scritta per soddisfare una clausola contrattuale, quindi descrive un'architettura che nessuno toccherà mai e omette le cose di cui le persone hanno effettivamente bisogno. Mantieni la lista breve e concentrati su:

• Un manuale per la gestione dei malfunzionamenti: i cinque problemi più probabili, come si manifestano dall'esterno e i primi tre passaggi per risolverli, scritti per la persona in servizio, non per un ingegnere.
• Un set di valutazione: tra 100 e 200 casi reali con la risposta corretta per ciascuno, concordati dalle persone che svolgono il lavoro. Questo è l'artefatto più prezioso dell'intero progetto.
• Un registro delle modifiche con le motivazioni: non solo cosa è stata configurata, ma perché una regola esiste. Le regole senza motivazione vengono eliminate dal prossimo responsabile.
• Una scheda di dipendenze e costi: ogni modello, API e fornitore; il costo mensile; date di rinnovo dei contratti; cosa accade se scompare.
• Una mappa dei dati: dove va quali dati, chi può accedervi e per quanto tempo vengono conservati. I team legali e della sicurezza avranno bisogno di questa informazione senza preavviso.

Tutto il resto è facoltativo. Se un documento non aiuta qualcuno a gestire, modificare, valutare o sostituire il sistema, è solo decorazione.

Le tre persone di cui hai bisogno

Non è necessario assumere un team di machine learning. Hai bisogno di tre individui nominati, e dovresti farlo prima dell'inizio del progetto, non durante l'ultimo mese.

• Un proprietario aziendale che decide cosa dovrebbe fare il sistema e gestisce il budget. Approvano le modifiche e rifiutano l'espansione dello scope. Questo ruolo non è tecnico.
• Un custode tecnico in grado di leggere la configurazione, apportare modifiche controllate, testarle e metterle in produzione. Spesso può essere un sviluppatore esistente o un ingegnere IT con capacità disponibili. Non devono costruire modelli; devono essere in grado di modificare e distribuire quelli esistenti.
• Un proprietario della qualità del dipartimento che utilizza il sistema - il senior handler delle richieste, l'infermiera capo, il responsabile del supporto. Mantengono il set di valutazione e decidono cosa significa "buono". Senza questo ruolo, la qualità diventa una questione di opinione in pochi settimane.

Il costo interno totale: solitamente una frazione di un ruolo a tempo pieno ciascuno, una volta che il sistema è stabile. Il fallimento non è l'onere; è che nessuno è stato nominato.

Testa il passaggio mentre puoi ancora fare reclami

Non accettare la documentazione come prova del trasferimento. Esegui un test dal vivo durante le ultime settimane dell'impegno, mentre i consulenti sono ancora sotto contratto.

Scegli una modifica reale - aggiungi un nuovo prodotto alla base di conoscenza, stringi una regola su ciò che il sistema rifiuta di rispondere, sostituisci una tabella dei prezzi aggiornata. Chiedi al tuo team di realizzarla, con i consulenti nella stanza ma in silenzio. Cronometralo. Poi fai eseguire l'insieme di valutazione dal tuo proprietario della qualità per confermare che non sia stato interrotto nulla altro.

Se il tuo team completa questo in un giorno, possiedi il sistema. Se ci vuole una settimana e tre domande, hai individuato esattamente le lacune da colmare prima che finiscano le fatture. Qualsiasi risultato è molto più prezioso di un modulo di consegna firmato.

Includi questo nel contratto dall'inizio. I punti di consegna, un team di ricezione nominato e un test supervisionato della modifica sono tutti più facili da negoziare prima che inizi il lavoro rispetto a dopo.

Così facciamo noi di Hercules A, e significa che i nostri impegni terminano. Ed è proprio questo il punto. La misura di un buon progetto AI non è la profondità dell'impegno dei consulenti un anno dopo - è la fiducia con cui le tue persone modificano il sistema senza chiamare nessuno.