Die Demonstration funktioniert immer: Wie man einen echten KI-System von einem einstudierten unterscheidet.
Praktische Fragen, die man einem AI-Anbieter stellen kann, um herauszufinden, ob seine Demo ein funktionierendes System oder nur eine sorgfältig inszenierte Durchführung darstellt.
Jede AI-Demo funktioniert. Das ist der Zweck einer Demo. Der Anbieter wählt die Dokumente, die Kundendaten, die Frage und den Moment des Klickens aus. Keines davon ist unaufrichtig, aber keines davon ist auch Beweis. Deine Aufgabe bei diesem Treffen ist herauszufinden, ob es ein System unter der Leistung gibt, und du kannst das normalerweise in 30 Minuten mit den richtigen Fragen.
Bring deine eigenen Eingaben mit
Das Nützlichste, was du bei einem Anbieter-Treffen tun kannst, ist die Tastatur zu übernehmen. Gib dem System ein Dokument aus deinem eigenen Unternehmen: einen unordentlichen Vertrag, eine Support-Konversation mit drei Personen, die sich überlappen, oder eine Rechnung von deinem am schlechtesten formatierten Lieferanten. Bitte sie, es live und ungeplant laufen zu lassen.
Beobachte, was sich ändert. Reaktionszeit, Ausweichmanöver, Formatierung, die Sicherheit der Antwort. Ein System, das sich bei einer Eingabe, die niemand inszeniert hat, stabil verhält, hat mindestens einmal die reale Welt erlebt.
Wenn der Anbieter ablehnt, frage nach dem Grund. "Deine Daten sind nicht in den Sandbox geladen" ist eine faire Antwort. Akzeptiere es dann aber als Bedingung vor der Unterzeichnung mit deen Dateien und deiner Definition eines Erfolgs festlegen.
Frage, was passiert, wenn es falsch ist
Ignoriere für einen Moment die Genauigkeitsrate und frage nach dem Rest. Wenn das System 92% richtig ist, wie sieht der andere 8% aus der Perspektive des Benutzers aus? Es gibt nur drei Möglichkeiten: es sagt, dass es nicht weiß, es leitet an eine Person weiter oder es liefert ein zuversichtliches falsches Ergebnis.
Systeme, die laut scheitern, sind billig in Betrieb zu halten. Systeme, die leise scheitern, sind teuer, weil die Kosten beim Kunden landen, der auf falsche Informationen vertraut hat, und dem Mitarbeiter, der eine Woche damit verbringt, es aufzuklären.
Frage dann nach einem Fall, in dem das System sich geweigert hat, eine Antwort zu geben. Teams mit einem funktionierenden Produkt zeigen diese normalerweise stolz, weil Zurückhaltung die schwierigste Sache ist, die man zu bauen hat.
Frage nach der Quelle der Antwort
Alles, was deine eigenen Materialien berührt – Richtlinien, Preise, Verträge, Produktspezifikationen – sollte eine Quelle haben. Bitte um eine Zitation und öffne sie dann. Die Frage ist nicht, ob ein Link angezeigt wurde. Es geht darum, ob das zitierte Dokument tatsächlich das behauptet, was die Antwort angibt.
Mache dies zweimal. Zwei Überprüfungen sagen dir mehr über ein System als eine Stunde mit Folien.
Frage nach dem Tag nach den Datenänderungen
Demos laufen auf einem gefrorenen Snapshot. Dein Unternehmen ist nicht eingefroren. Diese Fragen trennen ein Produkt von einem Prototyp:
- Wie kommt neue oder korrigierte Information hinein, wie oft und wer ist dafür verantwortlich?
- Wenn ein Dokument gelöscht oder ersetzt wird, wie lange dauert es, bis das System aufhört, es zu verwenden?
- Respektiert das System deine bestehenden Berechtigungen oder erhält jeder die gleichen Antworten unabhängig von der Rolle?
- Wenn sich das zugrunde liegende Modell ändert, kannst du vor seinem Erreichen durch deine Benutzer testen?
- Wer ist im Notfall erreichbar, wenn es um 9 Uhr an einem Montag ausfällt, und wie lange dauert die Reaktionszeit?
Vage Antworten hier sind das stärkste Signal, das du während des gesamten Treffens erhalten wirst. Ein Team, das etwas in Produktion laufen hat, hat diese Fragen alle schon einmal erlebt.
Frage nach Zahlen, die etwas kosten, um produziert zu werden
Prozentangaben auf einer Folie sind umsonst. Frage nach Zahlen mit Form: wie viele Benutzer, über wie viele Monate, im Vergleich zu welchem Basismesswert und wer hat sie gemessen? "Löst 60% der Stufe-eins-Tickets" bedeutet wenig, solange du nicht weißt, was die anderen 40% kosten, um umgeleitet zu werden, und ob diese Zahl von einem Pilotprojekt mit zehn Personen oder einem Jahr mit tausend Benutzern stammt.
Gute Anbieter antworten mit konkreten Angaben und Einschränkungen. Jemand, der ein echtes System ausgeliefert hat, weiß genau, wo es Spannungen gibt, und sagt es ohne gedrängt zu werden.
Frage nach dem, was das System nicht kann
Bitte den Anbieter, die Anwendungsfälle zu beschreiben, in denen ihr System eine schlechte Passform ist. Ein selbstbewusstes Team hat diese Antwort bereit und sie ist normalerweise präzise: lange Dokumente in gescanntem Format, Sprachen außerhalb ihres Bewertungsumfangs, alles, was eine Urteilsfindung mit rechtlicher Verpflichtung erfordert.
Ein Team, das behauptet, alles zu bewältigen, sagt dir, dass sie es nicht bisher genug getestet haben, um die Ränder zu finden. Du wirst sie stattdessen nach der Vertragsunterzeichnung entdecken.
Die letzte Frage
Bevor du gehst, frage nach einem Einblick in das, was ein bestehender Kunde an einem gewöhnlichen Dienstag sieht. Nicht die Demo: die Dashboard, die Protokolle, die Warteschlange von Eskalationsfällen, der Bericht, den jemand am Freitagmorgen liest. Echte Systeme akkumulieren diese unglamoröse Möbel, weil jemand sie betreiben musste. Eine vorbereitete Demo hat keinen Dienstag.