Hur du mäter om ett AI-projekt faktiskt fungerade
Ett praktiskt ramverk för att bedöma AI-projekt utifrån affärsresultat — utgångslägen, riktiga mätetal, hela kostnaden och vad du bör bevaka efter lansering.
De flesta AI-projekt slutar med en demo och en applåd. Få slutar med en siffra. Sex månader senare kan ingen säga om systemet sparade pengar, vann kunder eller bara blev ännu ett verktyg att underhålla. Problemet är sällan tekniken. Det är att ingen definierade hur framgång skulle se ut innan arbetet började, så framgång blev vad projektet råkade producera.
Att mäta ett AI-projekt är inte komplicerat. Det kräver att man i förväg bestämmer hur verksamheten ska se ut om projektet fungerar — och sedan kontrollerar.
Definiera "fungerade" innan någon skriver kod
Ett AI-projekt fungerar när det förändrar en affärssiffra du redan bryr dig om. Inte träffsäkerhet, inte svarskvalitet, inte "användning" i största allmänhet. En siffra: timmar av manuellt arbete som försvunnit, dagar som kapats från en process, felfrekvens i fakturor, kostnad per hanterat ärende, intäkt per säljare.
Skriv ner den siffran innan projektet startar, tillsammans med målet. "Systemet ska korta tiden för att ta fram offerter från tre dagar till en" är ett påstående som går att verifiera. "Systemet kommer att förbättra effektiviteten" är ett påstående man bara kan hålla med om. Om teamet inte kan namnge siffran projektet ska flytta, är projektet inte redo att finansieras.
Mät utgångsläget först
Du kan inte visa en förbättring mot ett utgångsläge som ingen dokumenterade. Innan systemet tas i drift, lägg en vecka eller två på att fånga hur processen presterar i dag: hur lång tid uppgifterna tar, hur ofta de går fel, vad de kostar, vilka som rör vid dem. Det är oglamoröst arbete och det är det steg som oftast hoppas över vid AI-införande.
Utgångsläget behöver inte vara perfekt. Tio tidtagna exempel på den nuvarande processen slår noll. Utan dem blir varje senare samtal om värde åsikt mot åsikt.
Bedöm resultat, inte modellprestanda
Tekniska team kommer att rapportera tekniska mätetal — träffsäkerhet, svarstider, benchmarkpoäng. De spelar roll för dem och bör inte spela särskilt stor roll för dig. En modell kan ha 95 % träffsäkerhet och ändå misslyckas som projekt, för att de 5 % den får fel drabbar dina viktigaste kunder, eller för att personalen i tysthet slutade använda den i mars.
De mätetal som är värda att följa upp på ledningsnivå faller i fyra grupper:
- Resultat: är arbetet mätbart snabbare, billigare eller bättre än utgångsläget
- Användning: hur stor andel av det arbete som kvalificerar sig går faktiskt genom systemet, och växer eller krymper den andelen
- Undantag: hur ofta en människa måste ingripa, rätta eller köra över — och om de fallen blir ovanligare
- Förtroende: skulle de som använder systemet protestera om det försvann
Användningssiffran förtjänar särskild uppmärksamhet. Ett system som används i 8 % av de aktuella fallen har inte fungerat, oavsett träffsäkerhet. Sjunkande användning är den tidigaste ärliga signalen på att något är fel, och den syns långt innan någon lämnar in ett klagomål.
Räkna hela kostnaden
Byggkostnaden är den synliga delen. Den verkliga summan inkluderar de löpande delarna: kostnader för abonnemang och beräkningskraft, tiden personalen lägger på att granska resultat, underhållet när en leverantör ändrar ett API eller processen systemet byggdes kring förändras. Ett projekt som sparar tjugo timmar i veckan men förbrukar tio i granskning och underhåll har en verklig avkastning — hälften av den som står i rubriken.
Boka in en genomgång tre och sex månader efter lansering och jämför den fulla driftskostnaden med den uppmätta vinsten. Många projekt som såg marginella ut vid lansering är tydligt positiva vid månad sex; några som imponerade i demon är tydligt negativa. Du vill veta vilket du har medan det fortfarande finns tid att åtgärda eller avsluta det.
Håll utkik efter förfall
Ett AI-system är ingen bro; det förblir inte färdigbyggt. Datan förändras, verksamheten förändras, modellen bakom ett API förändras utan förvarning. Ett system som fungerade i januari kan glida i tysthet till juli, och eftersom resultaten fortfarande ser rimliga ut märker ingen något förrän en kund gör det.
Lösningen är enkel: håll en liten uppsättning kända fall med kända korrekta svar och kör dem genom systemet varje månad. Om resultaten förskjuts får du reda på det genom dina egna kontroller i stället för från marknaden. Ge uppgiften till en namngiven person. Förfall som inte är någons jobb att upptäcka kommer inte att upptäckas.
Ensidestestet
Om ett AI-projekt fungerade ska det gå att sammanfatta på en sida: utgångsläget, målet, det uppmätta resultatet, hela kostnaden och trenden sedan lanseringen. Om den sidan inte går att skriva är den ärliga slutsatsen inte att projektet misslyckades — utan att ingen kan avgöra det, vilket för verksamheten är samma sak.
Den här mätdisciplinen är tyngre än de flesta team väntar sig, och det är precis den tyngd som är värd att bära — det är den som skiljer AI som imponerar i demon från AI som betalar sig. Det är också den del av införandet som Hercules A bygger in från start, så att frågan "fungerade det" alltid har en siffra som svar.