Reparere eller bygge om: Fem tegn på at et AI-system er nået til vejs ende

Et AI-system dør næsten aldrig på en måde, der tvinger nogen til at træffe en beslutning. Det bliver ved med at svare, ved med at score, ved med at lægge en fil frem hver morgen. Imens finder teamet veje omkring det, ændringsønskerne hober sig op, og de årlige udgifter vokser, uden at nogen har besluttet at lade dem vokse. Enden på systemets levetid kommer som en langsom stigning i omkostningen ved at holde det i live, og det er præcis den slags omkostning, der aldrig kommer på en dagsorden.

Derfor bliver beslutningen udskudt. At bygge om lyder dyrt og forstyrrende; at fortsætte lyder gratis. Det er ikke gratis, og ledelsens opgave er her at få øje på det øjeblik, hvor det koster mere at beholde systemet end at erstatte det.

De fem signaler

Det er dem, der holder på tværs af brancher og systemtyper. Et enkelt af dem er en anledning til at se nærmere efter. Tre på samme tid betyder, at beslutningen allerede er truffet for dig.

• Små ændringer er ikke længere små. En prisregel, der tog to dage at justere det første år, tager nu tre uger og rører ved fire andre ting. Systemet har samlet så mange særtilfælde, at ingen kan forudsige, hvor langt ud en ændring rækker.
• Nødløsningerne er blevet processen. Folk eksporterer resultatet og retter det i et regneark, før nogen bruger det. Det regneark har nu en ejer, en navnekonvention og en backup. Det virkelige system er nødløsningen; det officielle er en datakilde.
• Du kan ikke besvare grundlæggende spørgsmål om det. Hvorfor afviste det denne kunde i marts? Hvilken version kørte, da tallene flyttede sig? Hvis ingen kan svare uden en uges arkæologi, bærer du en regulatorisk og omdømmemæssig risiko, du ikke har regnet med i prisen.
• Viden sidder i en eller to personer. Hver ændring venter på den samme person. De holder ikke noget tilbage; de er simpelthen den eneste tilbageværende kopi af designbeslutningerne. Det er en bemandingsrisiko forklædt som en teknisk.
• Begrænsningen har flyttet sig. Systemet blev bygget omkring en begrænsning, der ikke længere findes: et kontekstvindue, et loft over svartiden, en pris pr. kald, en funktion der krævede tre komponenter og nu kun kræver én. Meget af det, du vedligeholder, er stilladser omkring et problem, der er forsvundet.

Hvad der ikke er et signal

Et enkelt dårligt kvartal med lav kvalitet i resultaterne er som regel et dataproblem, ikke et designproblem. En ny modeludgivelse er ikke en grund til at bygge noget om; hvis systemet er ordentligt struktureret, er det en konfigurationsændring at skifte model, og det bør du teste, om det er. En larmende hændelse er heller ikke bevis: hændelser samler sig om synlige systemer, ikke om skrøbelige.

Den forskel, der betyder noget, er mellem et system, der præsterer dårligt, og et system, der er blevet dyrt at ændre. Det første kan rettes. Det andet er en strukturel dom, og ingen mængde lappeløsninger vender den.

Sæt pris på at beholde det, ikke kun på at bygge om

Forslag om ombygning taber, fordi kun den ene side af regnskabet får et tal. Sæt et tal på den anden side, før du beslutter dig.

Læg sammen, hvad det nuværende system har forbrugt de seneste tolv måneder: udviklingstimer til vedligeholdelse og hændelser, regningen til leverandører og regnekraft, de timer folk bruger på manuelle rettelser længere nede i kæden, og værdien af de ændringer, forretningen bad om og ikke fik. Den sidste post er som regel den største og bliver næsten aldrig talt med. Se derefter på de samme tolv måneder for to år siden. Hvis kurven stiger, mens resultatet står stille, har du dit svar, og du har det i den eneste valuta, en bestyrelse diskuterer i.

Byg om i skiver, og behold dataene

En ombygning betyder ikke et toårigt program med en skæringsdato. De systemer, der lader sig erstatte godt, bliver erstattet én funktion ad gangen: rejs den nye vej for en smal skive af trafikken, lad den køre side om side med den gamle, sammenlign resultater på virkelige sager, flyt skiven over, gentag. Det gamle system bliver stående, indtil den sidste skive er flyttet. Forretningen afhænger på intet tidspunkt af en enkelt weekend med omlægning.

Det ene, der er værd at tage med videre, er dataene: de mærkede eksempler, rettelserne, optegnelsen over hvad systemet tog fejl i, og hvordan folk rettede det. Den akkumulerede dømmekraft er det, der reelt har værdi. Koden omkring den kan erstattes, og bør på et tidspunkt erstattes.

De fleste organisationer venter omkring et år for længe. Omkostningen ved det år er sjældent synlig, og netop derfor skal den måles. Vi har bygget vores arbejde op omkring at bære den vægt for kunderne, men målingen er din at foretage, og den er værd at foretage før den næste budgetrunde frem for efter.