Reparere eller bygge nytt: fem tegn på at et AI-system har gjort sitt

Et AI-system dør nesten aldri på en måte som tvinger fram en beslutning. Det fortsetter å svare, fortsetter å score, fortsetter å produsere en fil hver morgen. Samtidig går teamet utenom det, endringsønskene hoper seg opp, og de årlige kostnadene vokser uten at noen har valgt at de skal vokse. Slutten på levetiden kommer som en langsom økning i kostnaden ved å holde tingen i live, og det er nettopp den typen kostnad som aldri havner på en dagsorden.

Så beslutningen utsettes. Å bygge nytt høres dyrt og forstyrrende ut; å fortsette som før høres gratis ut. Det er ikke gratis, og lederens oppgave her er å se øyeblikket der det koster mer å dra systemet videre enn å erstatte det.

De fem tegnene

Dette er de som holder på tvers av bransjer og systemtyper. Ett av dem alene er grunn til å se nærmere etter. Tre av dem sammen betyr at beslutningen allerede er tatt for deg.

• Små endringer er ikke lenger små. En prisregel som tok to dager å justere det første året, tar nå tre uker og berører fire andre ting. Systemet har samlet opp nok spesialtilfeller til at ingen kan forutsi hvor langt virkningen av en endring rekker.
• Omveiene har blitt selve prosessen. Folk eksporterer resultatet og retter det i et regneark før noen bruker det. Det regnearket har nå en eier, en navnekonvensjon og en sikkerhetskopi. Det virkelige systemet er omveien; det offisielle er en datakilde.
• Dere kan ikke svare på enkle spørsmål om det. Hvorfor ble denne kunden avvist i mars? Hvilken versjon kjørte da tallene endret seg? Hvis ingen kan svare uten en uke med arkeologi, bærer dere på en regulatorisk og omdømmemessig eksponering dere ikke har priset inn.
• Kunnskapen sitter hos én eller to personer. Hver endring venter på den samme personen. De holder ikke på noe; de er rett og slett den eneste gjenværende kopien av designvalgene. Det er en bemanningsrisiko forkledd som en teknisk risiko.
• Begrensningen har flyttet seg. Systemet ble bygget rundt en begrensning som ikke lenger finnes — et kontekstvindu, et tak for responstid, en pris per kall, en funksjon som krevde tre komponenter og nå krever én. Mye av det dere vedlikeholder, er stillas for et problem som har forsvunnet.

Hva som ikke er et tegn

Ett dårlig kvartal med svak kvalitet på resultatene er som regel et dataproblem, ikke et designproblem. En ny modellversjon er ingen grunn til å bygge noe på nytt; hvis systemet er godt strukturert, er det å bytte modell en konfigurasjonsendring — og dere bør teste om det faktisk stemmer. En bråkete hendelse er heller ikke bevis: hendelser samler seg rundt synlige systemer, ikke skjøre.

Skillet som betyr noe, går mellom et system som presterer dårlig og et system som har blitt dyrt å endre. Det første lar seg fikse. Det andre er en strukturell dom, og ingen mengde lapping snur den.

Prissett det å dra systemet videre, ikke bare det å bygge nytt

Forslag om å bygge nytt taper fordi bare den ene siden av regnskapet får et tall. Sett et tall på den andre siden før dere bestemmer dere.

Legg sammen hva dagens system har forbrukt de siste tolv månedene: utviklingstimer på vedlikehold og hendelser, regningen for leverandører og regnekraft, timene folk bruker på manuell retting lenger ned i kjeden, og verdien av de endringene virksomheten ba om og ikke fikk. Den siste posten er som regel den største, og den telles nesten aldri med. Se så på de samme tolv månedene for to år siden. Hvis kurven stiger mens resultatet står stille, har dere svaret — og dere har det i den eneste valutaen et styre diskuterer i.

Bygg nytt i biter, og ta vare på dataene

Å bygge nytt betyr ikke et toårig program med en dato for omlegging. Systemene som lar seg erstatte godt, erstattes én funksjon om gangen: sett opp den nye veien for en smal del av trafikken, kjør den ved siden av den gamle, sammenlign resultater på virkelige saker, flytt over den delen, gjenta. Det gamle systemet står til den siste biten er flyttet. På intet tidspunkt avhenger virksomheten av én enkelt omleggingshelg.

Det ene som er verdt å ta med videre, er dataene — de merkede eksemplene, rettelsene, historikken over hva systemet tok feil i og hvordan folk rettet det opp. Den oppsamlede dømmekraften er den virkelig verdifulle ressursen. Koden rundt den er utskiftbar, og bør på et tidspunkt skiftes ut.

De fleste organisasjoner venter omtrent ett år for lenge. Kostnaden ved det året er sjelden synlig, og nettopp derfor må den måles. Vi har bygget virksomheten vår rundt å bære den vekten for kundene, men målingen må dere gjøre selv — og den er verdt å gjøre før neste budsjettrunde, ikke etter.