Demoen virker altid: Sådan kender du forskel på et ægte AI-system og et indøvet
Praktiske spørgsmål til en AI-leverandør, der afslører, om demoen afspejler et fungerende system eller blot en omhyggeligt iscenesat vej gennem det.
Alle AI-demoer virker. Det er det, en demo er til for. Leverandøren har valgt dokumenterne, kundeoplysningerne, spørgsmålet og tidspunktet for at klikke. Intet af det er uærligt, men intet af det er heller bevis. Din opgave i det møde er at finde ud af, om der er et system under forestillingen, og det kan du som regel nå på en halv time med de rigtige spørgsmål.
Tag dit eget input med
Det mest nyttige, du kan gøre til et leverandørmøde, er at tage tastaturet. Giv systemet et dokument fra din egen virksomhed: en rodet kontrakt, en supporttråd hvor tre personer taler i munden på hinanden, en faktura fra den leverandør, der har de dårligst opsatte dokumenter. Bed dem køre det live og uforberedt.
Læg mærke til, hvad der ændrer sig. Svartid, forbehold, formatering, hvor sikkert svaret lyder. Et system, der holder faconen på et input, ingen har arrangeret, har mødt den virkelige verden mindst én gang.
Hvis leverandøren siger nej, så spørg hvorfor. "Jeres data er ikke lagt ind i sandkassen" er et rimeligt svar. Accepter det, og skriv så testen ind som en betingelse, før du underskriver — med dine filer og din definition af en bestået test.
Spørg, hvad der sker, når det tager fejl
Se bort fra nøjagtighedsprocenten et øjeblik, og spørg til resten. Hvis systemet har ret i 92 % af tilfældene, hvordan ser de sidste 8 % så ud fra brugerens stol? Der er kun tre muligheder: det siger, at det ikke ved det, det sender sagen videre til et menneske, eller det producerer et selvsikkert forkert svar.
Systemer, der fejler højlydt, er billige i drift. Systemer, der fejler i stilhed, er dyre, for omkostningen lander hos kunden, der handlede på forkerte oplysninger, og hos medarbejderen, der bruger en uge på at rede trådene ud.
Bed derefter om at se et tilfælde, hvor systemet nægtede at svare. Teams med et fungerende produkt viser gerne den slags frem med en vis stolthed, for tilbageholdenheden er den svære del at bygge.
Spørg, hvor svaret kommer fra
Alt, der rører ved jeres eget materiale — politikker, priser, kontrakter, produktspecifikationer — bør angive sin kilde. Bed om en kildehenvisning, og åbn den så. Spørgsmålet er ikke, om der dukkede et link op. Det er, om det citerede dokument rent faktisk siger det, svaret påstår.
Gør det to gange. To stikprøver fortæller dig mere om et system end en time med slides.
Spørg om dagen efter, at data ændrer sig
Demoer kører på et frosset øjebliksbillede. Jeres forretning er ikke frossen. Disse spørgsmål adskiller et produkt fra en prototype:
- Hvordan kommer nye eller rettede oplysninger ind, hvor ofte, og hvis opgave er det?
- Når et dokument slettes eller erstattes, hvor lang tid går der så, før systemet holder op med at bruge det?
- Respekterer systemet jeres eksisterende adgangsrettigheder, eller får alle de samme svar uanset rolle?
- Når den underliggende model ændres, får I så lov at teste, før den når jeres brugere?
- Hvem har vagten, når det bryder sammen mandag klokken ni, og hvad er svartiden?
Vage svar her er det stærkeste signal, du får i hele mødet. Et team, der har haft noget i drift, har været igennem alle fem.
Bed om tal, det har kostet noget at fremskaffe
Procenter på en slide er gratis. Bed om tal med konturer: hvor mange brugere, over hvor mange måneder, målt op mod hvilket udgangspunkt, og hvem der målte det. "Løser 60 % af sagerne på første niveau" betyder ikke meget, før du ved, hvad det koster at sende de sidste 40 % videre, og om tallet stammer fra en pilot med ti personer eller et år med tusind.
Gode leverandører svarer med detaljer og forbehold. En, der har leveret et rigtigt system, ved præcis, hvor det knager, og siger det uden at blive presset.
Spørg, hvad det ikke kan
Bed leverandøren beskrive de anvendelser, hvor systemet er et dårligt match. Et team med styr på tingene har svaret parat, og det er som regel præcist: lange dokumenter i scannet form, sprog uden for deres evalueringssæt, alt der kræver en vurdering med juridiske konsekvenser.
Et team, der siger, at systemet kan klare hvad som helst, fortæller dig, at de endnu ikke har kørt det et sted, der er hårdt nok til at finde kanterne. Dem finder du i stedet — efter kontrakten er underskrevet.
Det sidste spørgsmål
Inden du går, så bed om at se, hvad en eksisterende kunde ser en helt almindelig tirsdag. Ikke demoen: dashboardet, loggene, køen af eskalerede sager, rapporten som nogen læser fredag morgen. Rigtige systemer opsamler den slags uglamourøse inventar, fordi nogen har været nødt til at drive dem. En indøvet demo har ingen tirsdag.
Vi sidder ofte på købers side af det bord, og mønstret holder: de systemer, der overlever disse spørgsmål, ser sjældent imponerende ud i en demo. De ser kedelige, specifikke og gennemmålte ud. Sådan ser det ud, når noget virker.