Reparieren oder neu aufbauen: Fünf Anzeichen, dass ein KI-System seinen Lauf abgeschlossen hat

Ein AI-System stirbt selten auf eine Weise, die eine Entscheidung erfordert

Es antwortet weiter, berechnet weiter und produziert jeden Morgen eine Datei. Währenddessen umgeht das Team es, Anforderungen ändern sich ansammeln und die jährlichen Ausgaben wachsen, ohne dass jemand beschließt, sie zu erhöhen. Das Ende kommt als langsamer Anstieg der Kosten für die Aufrechterhaltung, genau die Art von Kosten, die nie in einer Agenda auftauchen.

Daher wird die Entscheidung verschoben. Eine Neugestaltung erscheint teuer und störend; Weiterführen klingt kostenlos. Es ist es nicht, und die Aufgabe eines Führers besteht hier darin, den Moment zu erkennen, wenn die Aufrechterhaltungskosten das Ersetzen übersteigen.

Die fünf Signale

Diese gelten in verschiedenen Branchen und Systemtypen. Jedes einzelne ist ein Anlass, genauer hinzuschauen. Drei zusammen bedeuten, dass die Entscheidung bereits getroffen wurde.

Kleine Änderungen werden nicht mehr klein. Eine Preisregel, die im ersten Jahr zwei Tage zur Anpassung benötigte, dauert nun drei Wochen und beeinflusst vier andere Dinge. Das System hat so viele Sonderfälle angesammelt, dass niemand den Explosionsradius einer Änderung vorhersagen kann.
Umgehungen werden zum Prozess. Menschen exportieren die Ausgabe und bearbeiten sie in einem Tabellenkalkulationsprogramm, bevor jemand es verwendet. Jetzt hat diese Tabelle einen Besitzer, eine Benennungskonvention und ein Backup. Das eigentliche System ist die Umgehung; das offizielle ist eine Datenquelle.
Du kannst keine grundlegenden Fragen dazu beantworten. Warum wurde dieser Kunde im März abgelehnt? Welche Version lief, als sich die Zahlen veränderten? Wenn niemand ohne wochenlange Recherche antworten kann, trägst du regulatorische und Rufschäden, deren Kosten du nicht eingeplant hast.
Das Wissen lebt in einer oder zwei Personen. Jede Änderung wartet auf dieselbe Person. Sie hoarden nichts; sie sind einfach die einzige überlebende Kopie der Entwurfsentscheidungen. Das ist ein Personalrisiko getarnt als technisches.
Die Einschränkung hat sich verändert. Das System wurde um eine Begrenzung gebaut, die nicht mehr existiert – ein Kontextfenster, eine Latenzgrenze, ein pro Anruf Preis oder eine Fähigkeit, die drei Komponenten benötigte und nun nur noch eine. Ein Großteil dessen, was du wartest, ist Stützstruktur für ein Problem, das verschwunden ist.

Was kein Signal ist

Ein einzelner schlechter Output-Qualitätsquartal ist meistens ein Datenproblem, nicht ein Designproblem. Eine neue Modellfreigabe ist kein Grund, etwas neu zu bauen; wenn dein System gut strukturiert ist, ist der Austausch des Modells eine Konfigurationsänderung und du solltest testen, ob es funktioniert. Ein lauter Vorfall ist auch kein Beweis – Vorfälle treten um sichtbare Systeme herum auf, nicht um zerbrechliche.

Der entscheidende Unterschied besteht zwischen einem System, das schlecht läuft, und einem, das teuer zu ändern ist. Das erste ist behandelbar. Das zweite ist eine strukturelle Verurteilung, und keine Menge an Patchen kehrt sie um.

Die Aufrechterhaltungskosten bewerten, nicht nur den Neubau

Neubauvorschläge scheitern, weil nur eine Seite der Rechnung einen Betrag erhält. Setze eine Zahl für die andere Seite, bevor du entscheidest.

Addiere, was das aktuelle System in den letzten zwölf Monaten verbraucht hat: Ingenieurstunden für Wartung und Vorfälle, Anbieter- und Rechenzentrikrechnungen, Stunden, die Menschen für manuelle Korrekturen im Nachhinein aufwenden, und den Wert der Änderungen, die das Unternehmen angefordert und nicht erhalten hat. Letzteres ist meistens der größte Posten und wird fast nie gezählt. Vergleiche dann dasselbe in den letzten zwei Jahren. Wenn die Linie steigt, während die Ausgabe flach bleibt, hast du deine Antwort, und du hast sie in der einzigen Währung, mit der ein Vorstand argumentiert.

In Schritten neu gestalten und die Daten behalten

Ein Neubau bedeutet nicht einen zweijährigen Programmplan mit einem Umstiegsdatum. Die Systeme, die gut ersetzt werden, sind es in kleinen Schritten: Stelle den neuen Pfad für einen schmalen Datenverkehrsteil auf, führe ihn neben dem alten, vergleiche Ausgaben in realen Fällen, schiebe den schmalen Teil über und wiederhole. Das alte System bleibt bis zum letzten Schritt aktiv. Zu keinem Zeitpunkt ist das Geschäft von einem einzigen Umstiegswochenende abhängig.

Der einzige wertvolle Bestandteil, den du mitnehmen solltest, sind die Daten – die beschrifteten Beispiele, die Korrekturen, die Aufzeichnungen darüber, was das System falsch gemacht und wie Menschen es korrigiert haben. Diese angesammelte Beurteilung ist der wirklich wertvolle Vermögenswert. Der Code um ihn herum ist austauschbar und sollte irgendwann ersetzt werden.

Die meisten Organisationen warten etwa ein Jahr zu lange. Die Kosten für dieses Jahr sind selten sichtbar, genau das ist der Grund, warum sie gemessen werden müssen. Wir haben unsere Praxis darauf aufgebaut, diese Last für unsere Kunden zu tragen, aber die Messung liegt bei dir, und es lohnt sich, sie vor dem nächsten Budgetzyklus durchzuführen, nicht danach.