Demon fungerar alltid: så skiljer du ett verkligt AI-system från ett inövat
Praktiska frågor att ställa till en AI-leverantör som avslöjar om demon speglar ett fungerande system eller en noggrant iscensatt väg genom det.
Varje AI-demo fungerar. Det är hela poängen med en demo. Leverantören valde dokumenten, kundposten, frågan och ögonblicket att klicka. Inget av det är oärligt, men inget av det är heller bevis. Din uppgift i det mötet är att ta reda på om det finns ett system under föreställningen, och det går oftast att göra på trettio minuter med rätt frågor.
Ta med egen indata
Det mest användbara du kan göra i ett leverantörsmöte är att ta tangentbordet. Ge systemet ett dokument från din egen verksamhet: ett rörigt avtal, en supporttråd där tre personer pratar i mun på varandra, en faktura från din sämst formaterade leverantör. Be dem köra det live, utan förberedelse.
Lägg märke till vad som förändras. Svarstid, gardering, formatering, hur säkert svaret låter. Ett system som håller formen på indata som ingen har iscensatt har åtminstone mött verkligheten en gång.
Om leverantören tackar nej, fråga varför. "Era data är inte inlästa i sandlådan" är ett rimligt svar. Acceptera det, och skriv sedan in testet som ett villkor innan du skriver på, med dina filer och din definition av godkänt.
Fråga vad som händer när det blir fel
Bortse från träffsäkerhetsprocenten ett ögonblick och fråga om resten. Om systemet har rätt 92 % av gångerna, hur ser de övriga 8 % ut från användarens stol? Det finns bara tre alternativ: det säger att det inte vet, det eskalerar till en människa, eller så producerar det ett självsäkert felaktigt svar.
System som misslyckas högljutt är billiga att driva. System som misslyckas tyst är dyra, eftersom kostnaden landar hos kunden som agerade på felaktig information och hos medarbetaren som ägnar en vecka åt att reda ut det.
Be sedan att få se ett fall där systemet vägrade svara. Team med en fungerande produkt visar oftast upp det med viss stolthet, eftersom återhållsamheten är den svåra delen att bygga.
Fråga varifrån svaret kom
Allt som rör ditt eget material — policyer, priser, avtal, produktspecifikationer — bör ange sin källa. Be om en källhänvisning och öppna den sedan. Frågan är inte om en länk dök upp. Frågan är om det angivna dokumentet faktiskt säger det som svaret påstår.
Gör det två gånger. Två kontroller säger dig mer om ett system än en timme med bildspel.
Fråga om dagen efter att data ändrats
Demon körs på en fryst ögonblicksbild. Din verksamhet är inte frusen. De här frågorna skiljer en produkt från en prototyp:
- Hur kommer ny eller korrigerad information in, hur ofta, och vems jobb är det?
- När ett dokument raderas eller ersätts, hur lång tid tar det innan systemet slutar använda det?
- Respekterar systemet era befintliga behörigheter, eller får alla samma svar oavsett roll?
- När den underliggande modellen ändras, får ni testa innan den når era användare?
- Vem har jour när det går sönder klockan nio en måndag, och vilken svarstid gäller?
Vaga svar här är den starkaste signal du kommer att få under hela mötet. Ett team som har haft något i produktion har levt genom alla fem.
Be om siffror som kostar något att ta fram
Procenttal på en bild är gratis. Be om siffror med kontur: hur många användare, under hur många månader, mätt mot vilken utgångspunkt, och vem som mätte. "Löser 60 % av förstalinjeärendena" betyder föga innan du vet vad de övriga 40 % kostar att slussa vidare, och om siffran kom från en pilot med tio personer eller ett år med tusen.
Bra leverantörer svarar med detaljer och förbehåll. Den som har levererat ett verkligt system vet precis var det tar emot, och säger det utan att bli pressad.
Fråga vad det inte klarar
Be leverantören beskriva de användningsfall där deras system passar dåligt. Ett tryggt team har svaret färdigt och det är oftast precist: långa dokument i skannad form, språk utanför deras utvärderingsurval, allt som kräver en bedömning med juridisk exponering.
Ett team som säger att det klarar allt berättar för dig att de ännu inte har kört det någonstans tillräckligt krävande för att hitta kanterna. Det får du göra i stället, efter att avtalet är påskrivet.
Den sista frågan
Innan du går, be att få se vad en befintlig kund ser en helt vanlig tisdag. Inte demon: instrumentpanelen, loggarna, kön med eskalerade ärenden, rapporten någon läser på fredagsmorgonen. Verkliga system samlar på sig sådana oglamorösa möbler eftersom någon har behövt driva dem. En inövad demo har ingen tisdag.
Vi sitter ofta på köparens sida av det bordet, och mönstret håller: de system som överlever de här frågorna ser sällan imponerande ut i en demo. De ser trista, specifika och instrumenterade ut. Så ser det ut när något fungerar.