Nach der Implementierung: Was ein KI-System wirklich kostet, zu betreiben

Die Rechnung, die niemand im Vorschlag berücksichtigt hat

Die Modellgebühren sind der Teil der Rechnung, den man berechnen kann.

Modellpreise werden pro Token abgerechnet – grob pro Wort Eingabe und Ausgabe. Wenn man einmal die Mathematik versteht, sind sie vorhersehbar.

Nehmen wir an, ein interner Support-Assistent bearbeitet 8.000 Gespräche im Monat, mit sechs Runden pro Gespräch. Das sind 48.000 Aufrufe des Modells. Jeder Aufruf enthält Ihre Anweisungen, die abgerufenen Dokumente und den bisherigen Gesprächsverlauf – etwa 5.000 Token Eingabe – und gibt rund 400 Token Ausgabe zurück. Sie kaufen 240 Millionen Token Eingabe und 19 Millionen Token Ausgabe pro Monat. Bei Mittelklasse-Modellpreisen liegt das bei etwa 1.000 Euro pro Monat, und die Prompt-Caching-Funktion kann hier erhebliche Einsparungen bringen.

Zwei Dinge überraschen Menschen: Erstens dominieren die Eingabetoken: Sie zahlen für alles, was Sie senden, und die Länge des Kontexts ist der Hauptkostenfaktor, den Sie steuern können. Zweitens führen Wiederholungen, Testläufe und interne Tests 15-30% oben auf den Produktionsverkehr auf. Budgetieren Sie das Brutto, nicht das Rein-Volumen.

Die Modellpreise pro Token sind stetig gesunken. Die Gesamtausgaben steigen dennoch meist an, da die Nutzung wächst und neuere Modelle für anspruchsvollere Aufgaben eingesetzt werden. Planen Sie nach Volumen, nicht nach Preisen.

Die Rechnungen, die niemand in den Vorschlag aufgenommen hat

Modellgebühren machen selten die größte Position aus. Der Rest der Betriebskosten besteht aus gewöhnlicher Arbeit, die AI-Systeme mehr benötigen:

• Menschliche Überprüfung: Jede Woche liest jemand eine Stichprobe der tatsächlichen Ausgaben und entscheidet, ob die Qualität erhalten bleibt. Für ein kundenorientiertes System gehen Sie von einigen Stunden pro Woche aus, dauerhaft.
• Infrastruktur um das Modell herum: Suchindizes, Vektorspeicher, Protokollierung und die Pipeline, die Ihre Dokumente aktuell hält. Moderat einzeln, konstant insgesamt.
• Änderungsarbeit: Neue Produkte, neue Richtlinien, neue Randfälle, mit denen das System schlecht zurechtkommt. Erwarten Sie einen kleinen, stetigen Strom von Anpassungen statt gelegentlicher großer Veröffentlichungen.
• Anbieteränderungen: Modelle werden nach veröffentlichten Zeitplänen veraltet. Die Migration zu einem Nachfolger bedeutet das erneute Testen alles, was das alte Modell gut konnte, typischerweise einmal im Jahr.
• Einhaltung und Aufzeichnungen: Aufbewahrung, Zugriffskontrolle und der Audit-Trail, der beweist, was das System einem Kunden im März gesagt hat.

Drift – die Position, die Menschen überrascht

Software versagt lautstark. AI-Systeme verschlechtern sich leise und bleiben während des gesamten Verfalls selbstbewusst.

Zuerst driftet Ihr Geschäft: Preise ändern sich, ein Produkt wird eingestellt, eine Richtlinie neu geschrieben. Das System antwortet weiterhin mit der Version, die es erhalten hat, fließend und falsch, bis jemand es bemerkt.

Dann driften Ihre Nutzer: Sobald Menschen lernen, was das System handhabt, drängen sie in angrenzende Bereiche, die es nie abdecken sollte. Traffic, der wie FAQ-Antworten aussieht, entwickelt sich zu Vertragsinterpretation, und die Genauigkeit, die Sie bei der Einführung gemessen haben, beschreibt nicht mehr das Geschehen.

Auch Ihr Inhalt driftet: Die Rückgewinnung, die über 400 Dokumente gut funktioniert hat, wird unschärfer über 4.000, da mehr nahe Treffer das richtige Ergebnis aus den Ergebnissen verdrängen.

Alles dies löst keinen Alarm aus. Es zeigt sich Monate später in steigenden Eskalationen, sinkender Nutzung oder einem Kundenbeschwerde, der auf etwas reagiert hat, was das System gesagt hat. Bis dahin ist die Kostenbeseitigung teurer als die Überwachung.

Die Verteidigung ist unprächtig und günstig: Pro Monat 50 bis 100 echte Interaktionen sammeln, sie gegen das bewerten, was ein guter Mitarbeiter sagen würde, und den Score über die Zeit verfolgen. Eine Person, halber Tag pro Monat – damit lässt sich fast jeder der oben genannten Versagermodi frühzeitig erkennen, während er noch klein ist.

Ein Budget, das dem Kontakt mit der Realität standhält

Planen Sie die jährlichen Betriebskosten für die ersten zwei Jahre bei 30-50% der Baukosten. Unter 20% zeigt dies, dass das System vernachlässigt wird und die Qualitätskurve dies widerspiegelt. Über 60% deutet entweder darauf hin, dass beim Bau zu viel unvollendet gelassen wurde oder dass der Anwendungsfall tatsächlich volatiler ist als er aussah.

Teilen Sie diese Zahl in drei Buckets auf: Nutzung (Modellgebühren und Infrastruktur, skalierbar mit dem Volumen), Aufbewahrung (Überprüfung, Überwachung, Aufzeichnungen – in etwa konstant) und Änderungen (Anpassung an Ihr Unternehmen und die Roadmap Ihres Anbieters). Die Buckets verhalten sich unterschiedlich, daher täuscht eine einzige kombinierte Zahl Sie beim ersten Mal, wenn das Volumen verdoppelt wird.

Benennen Sie dann einen Verantwortlichen. Ein AI-System ohne benannten Besitzer und festen Budgetzeile wird nicht gewartet; es wird nur toleriert, bis es still und leise aufgegeben wird. Das ist die tatsächliche Kostenfolge, wenn man diesen Schritt überspringt – nicht Überausgaben, sondern das Bezahlen für einen Bau zweimal.

Berechnen Sie die Laufrate, bevor der Bau beginnt, nicht danach. Die Zahl ändert oft, was Sie entscheiden zu bauen, und genau darum geht es. Es ist die erste Berechnung, die wir mit einem Kunden durchführen, und manchmal ist es der Grund, warum wir empfehlen, ein kleineres System als das zu bauen, für das sie gekommen sind.