Deine KI braucht einen Flugschreiber, und du baust ihn am ersten Tag.
Die Handvoll Aufzeichnungen, die es dir ermöglichen, Monate später jede KI-Ausgabe zu erklären und Qualitätsverschiebungen zu erkennen, bevor ein Kunde es tut.
Wenn ein KI-System in die Produktion geht: Die ersten wichtigen Fragen
Die erste Frage, die sich bei der Einführung eines KI-Systems stellt, ist nicht, wie es funktioniert, sondern warum es eine bestimmte Aussage gemacht hat. Ein Kunde streitet eine Rechnung an, ein Auditor fragt nach der Entscheidungsfindung oder jemand in Ihrem Team stellt fest, dass die Zusammenfassungen in diesem Monat schlechter geworden sind, ohne sagen zu können, wann dies begonnen hat.
In diesem Moment haben Sie entweder das Protokoll oder nicht, und es ist später nicht mehr rekonstruierbar. Das erneute Stellen derselben Frage heute liefert Ihnen nur die heutige Antwort des heutigen Modells, des heutigen Eingabetextes und der heutigen Daten – kein Beweis für etwas Bestimmtes.
Protokollierung ist eine Entscheidung, die am ersten Tag getroffen werden muss. Wenn sie später hinzugefügt wird, deckt sie nur das ab, was danach passiert.
Die sechs Faktoren, die eine Antwort erzeugen
Eine KI-Antwort ist das Ergebnis eines kleinen Eingabemangels. Erfassen Sie alle diese Faktoren bei jedem Anruf, vom ersten:
- Der Anfrage – eine eindeutige ID, ein Zeitstempel, der Absender (Person oder System) und der genaue Text oder die Daten, die eingereicht wurden.
- Der Kontexte – alle Dokumente, Aufzeichnungen oder Datensätze, die das System abgerufen und dem Modell vorgelegt hat, individuell identifiziert mit ihrer Version.
- Die Anweisungen – der Prompt-Vorlage plus allem, was zur Laufzeit zusammengestellt wurde, sowie die Vorlagenversion.
- Das Modell – die genaue Modell-ID (nicht nur die Familie), zusammen mit den verwendeten Einstellungen: Temperatur, Token-Limits und aufrufbare Tools.
- Die Ausgabe – die Rohantwort vor jeglicher Aufbereitung und die verarbeitete Version, falls diese unterschiedlich ist.
- Die Folge – was als Nächstes passiert ist: an einen Benutzer angezeigt, an einen Kunden per E-Mail gesendet, zur Genehmigung einer Forderung verwendet oder von einem Menschen akzeptiert, bearbeitet oder abgelehnt.
Ohne Kontext und Anweisungen bleibt Ihnen nur die Hälfte des Gesprächs. Sie können sehen, was das System geantwortet hat, aber nicht warum diese Antwort vernünftig war.
Versionen: Der oft übersehene Teil
Drei Dinge ändern sich unter einem KI-System, ohne dass jemand einen Änderungsantrag stellt: Jemand bearbeitet einen Prompt am Dienstagnachmittag, der Anbieter aktualisiert das Modell hinter dem gleichen API-Namen oder die Wissensdatenbank wird neu indiziert und das System beginnt, für dieselbe Frage andere Dokumente abzurufen.
Jeder dieser Änderungen kann die Qualität beeinflussen, und keine von ihnen erscheint in einer Ausgabe-Protokollierung. Auf jedem Anruf eine Versionsidentifikation für Prompt, Modell und Datenindex aufzeichnen, und die Frage "Was hat sich zwischen der guten und der schlechten Woche geändert?" lässt sich dann schnell beantworten. Ohne diese Protokollierung dauert es eine Woche der Vermutungen, oft während jemand Senior wartet.
Menschliche Korrekturen: Ihr bestes Signal
Wenn eine Person einen KI-Entwurf vor dem Versenden bearbeitet, hat sie Ihnen genau gesagt, was falsch war, in den spezifischsten Begriffen. Speichern Sie die ursprüngliche Version neben der bearbeiteten.
Tun Sie dies, und zwei Dinge folgen: Die Bearbeitungsrate wird zu einem Qualitätsmaß, das Sie wöchentlich aufzeichnen können, und es reagiert früher als Beschwerden. Und die Korrekturen summieren sich zu einer Sammlung von Beispielen, die Sie zur Verbesserung des Systems nutzen können – basierend auf Ihrer eigenen Arbeit statt auf gekauften oder erfundenen Daten.
Drift: Eine Vergleichs- statt einer Alarmfunktion
Es wird Ihnen nichts mitteilen, dass die Ausgaben schlechter geworden sind. Verschlechterung ist allmählich und jede einzelne Antwort sieht plausibel aus.
Die praktische Methode besteht darin, ein festes Set realer Anfragen – einhundert reichen aus, ausgewählt aus dem tatsächlichen Traffic und deckend Ihre unangenehmen Fälle ab – alle Monat neu auszuführen. Vergleichen Sie die neuen Antworten mit den gespeicherten. Wo sie sich unterscheiden, liest eine Person beide und entscheidet, welche besser ist. Dies funktioniert nur, wenn Sie die Eingaben beibehalten haben, was der gesamte Argument für die Protokollierung ist.
Kombinieren Sie dies mit den Zahlen, die Sie bereits haben: Bearbeitungsrate, Ablehnungsrate, Eskalation an einen Menschen, der Anteil der Antworten, bei denen das System keine relevanten Dokumente gefunden hat. Ein Anstieg in diesem letzten Punkt deutet oft darauf hin, dass Ihre Daten veraltet sind, nicht dass Ihr Modell schuld ist.
Speichern und Redigieren von Protokollen: Die ersten Schritte
Diese Protokolle enthalten alles, was Ihre Kunden eingegeben haben, was bedeutet, dass sie die gleichen Verpflichtungen wie jede andere persönliche Daten haben. Klassifizieren Sie Felder entsprechend dem geschriebenen Inhalt, maskieren oder tokenisieren Sie, was nicht lesbar sein muss, und speichern Sie die Protokolle getrennt von der Anwendung, damit ein Ausfall in einer nicht den gesamten Datensatz mit sich zieht.
Setzen Sie die Aufbewahrungszeit absichtlich fest. Für Entscheidungen mit vertraglicher oder regulatorischer Relevanz bewahren Sie die Aufzeichnungen so lange auf, wie die Offenlegung besteht, und machen Sie diesen Speicher append-only, damit niemand die Geschichte nachträglich verändern kann. Für routinemäßigen Traffic ist eine kürzere Aufbewahrung besser und günstiger. Legen Sie eine Person fest, die für die Richtlinie verantwortlich ist.
Die Speicherung ist der billige Teil. Teurer ist das Retrofitting aller dieser Protokolle in ein Live-System – während Sie gleichzeitig gebeten werden, eine Ausgabe zu erklären, für die Sie keine Rechenschaft ablegen können. Wir bauen diese Aufzeichnungen von Anfang an ein, weil sie das sind, was ein KI-System von etwas, worauf Sie vertrauen, in etwas verwandelt, das Sie demonstrieren können.