Zeigen Sie mir, wo es steht: Interne Suche, die mit Quittungen antwortet.
Wie man einen internen Assistenten baut, der Fragen aus eigenen Dokumenten beantwortet und auf die genaue Quelle verlinkt, und was ihn tatsächlich am Laufen hält.
Zitate sind das Produkt
Ein Assistent, der ohne Quelle antwortet, hat deine Arbeit nicht entfernt, sondern verschoben. Du musst immer noch überprüfen, und Überprüfung bedeutet, selbst das Dokument zu finden, was du vermeiden wolltest. Mit einem Link zum Absatz, der Seite und der Version dauert die Überprüfung vier Sekunden und du kannst weitermachen.
Es gibt einen zweiten Grund, der langfristig wichtiger ist. Eine unzitierte Antwort ist nicht überprüfbar. Wenn sie falsch ist, kannst du nicht sagen, ob das Quelldokument falsch war, veraltet oder korrekt gelesen und schlecht zusammengefasst wurde. Jeder dieser Fälle erfordert eine andere Korrektur und einen anderen Verantwortlichen. Zitate verwandeln ein vages AI-Beschwerden in ein spezifisches, lösbares Ticket.
Was darunter steckt, ohne Fachjargon
Drei Teile: Eine Kopie deiner Dokumente, aufgeteilt in Passagen. Ein Abrufschritt, der die Handvoll Passagen herausfiltert, die am wahrscheinlichsten die Antwort enthalten. Ein Modell, das die Antwort nur mit diesen Passagen und deren Nennung schreibt.
Das Modell ist nicht auf deine Daten trainiert und merkt sie sich auch nicht. Es liest, was Abruf ihm übergibt, so wie ein neuer Analyst die Datei liest, die du auf seinen Schreibtisch legst. Ändert man heute ein Dokument, ändert sich morgen die Antwort. Entfernt man jemanden aus dem Zugriff, werden seine Antworten entsprechend eingeschränkt.
Die Branche nennt dies Retrieval-augmentierte Generierung. Was du aus diesem Begriff mitnehmen solltest, ist kommerziell, nicht technisch: Der teure Teil des Projekts ist nicht das Modell. Es sind deine Dokumente.
Die Arbeit steckt in den Dokumenten
Die meisten dieser Projekte gelingen oder scheitern im Korpus, bevor jemand einen Prompt schreibt. Die wiederkehrende Arbeit sieht so aus:
- Wähle einen begrenzten Korpus. Ein Departement, ein Zweck. "Alle von SharePoint" ist kein Korpus, sondern eine Müllhalde.
- Richte zuerst Berechtigungen beim Abruf ein. Wenn eine Person die Datei nicht öffnen kann, darf der Assistent sie nicht zitieren. Das Nachrüsten ist schmerzhaft und bis du das getan hast, ist das System ein Lecks.
- Löse Duplikate. Sechs nahezu identische Vertragsvorlagen erzeugen sechs nahezu identische Antworten, und der Assistent hat keine Möglichkeit zu wissen, welche Version HR tatsächlich verwendet. Markiere die autoritäre Version.
- Behandle Formate, die sich widersetzen: Scangepflegte PDFs benötigen OCR, Tabellenkalkulationen und Folien verlieren ihre Bedeutung, wenn sie in Text umgewandelt werden, und E-Mail-Threads sind meistens Lärm.
- Weise jedem Dokument einen Besitzer und ein Überprüfungsdatum zu. Ein mit Zitaten ausgestatteter Assistent macht veraltetes Inhalt sichtbar, manchmal unangenehm.
Wo es nicht helfen wird
Fragen, die eine Zählung oder einen Vergleich über das gesamte Archiv erfordern. "Wie viele Verträge werden im 3. Quartal verlängert" ist eine Datenbankfrage, die sich als Suchfrage verkleidet, und der Abruf wird sie zuversichtlich und falsch beantworten. Auch "Was ist unsere Gesamtaussetzung gegenüber diesem Lieferanten". Leite diese an Berichterstattung weiter.
Es kann auch keine Antwort auf das geben, was niemand niedergeschrieben hat. Wenn die Preisregel im Kopf einer Person lebt, ist die ehrliche Ausgabe, dass es keine Quelle gibt. Ein System, das sagt, es wisse nicht, funktioniert richtig und du solltest für diese Antwort statt für eine Strafung designen.
Messen der dritten Zahl
Nimm 50 bis 100 echte Fragen von den Leuten, die das Ding nutzen werden. Nicht erfundene. Dann messen drei Prozentzahlen: Beantwortet mit einer korrekten Zitation, abgelehnt wegen fehlender Quelle und beantwortet zuversichtlich, aber falsch.
Die dritte Zahl ist die einzige, die entscheidet, ob das System genutzt wird. Eine gefälschte Antwort mit einem Link, der sie nicht unterstützt, kostet mehr Vertrauen als zwanzig hilfreiche Antworten es verdienen werden. Treibe diese Zahl auf Null, auch wenn das bedeutet, dass der Assistent häufiger ablehnt, als du es zunächst möchtest.
Beginne mit einem Regal, nicht mit der Bibliothek
Wähle ein Team mit einer klaren Dokumentensammlung und einer Frage, die sie wöchentlich stellen. Acht Wochen sind genug, um etwas Reales in ihren Händen zu haben, einschließlich der Berechtigungsarbeit. Erweitere nur, wenn diese Gruppe gegen den Verlust protestieren würde.
Wir bauen diese für mittelgroße Unternehmen, und das Muster gilt: Das schmale System, das seine Quellen zitiert, wird täglich genutzt, während das ehrgeizige System, das auf alles antwortet, bis März stillgelegt wird.