Överlämningsproblemet: vad ditt team måste äga innan konsulterna går

Ett AI-projekt har två slut. Det första är lanseringen, som alla firar. Det andra är tystare och kommer flera månader senare, när en leverantör ändrar ett formulär, en regel skrivs om eller en modellversion tas ur bruk, och systemet börjar ge sämre svar. Då är frågan enkel: vem åtgärdar det?

Om det ärliga svaret är "vi skulle behöva ringa in konsulterna igen" har du inte köpt ett system. Du hyr det, och taxametern går fortfarande.

Vad ägarskap faktiskt innebär

Ägarskap är inte en mapp med dokument som lämnas över sista dagen. Det är fyra praktiska förmågor inne i ditt företag.

Ni kan driva systemet: någon vet hur man kontrollerar om det fungerar i dag, och får veta när det inte gör det. Ni kan ändra det: någon kan justera en regel, lägga till en dokumentkälla eller uppdatera en prompt utan att öppna ett supportärende. Ni kan bedöma det: någon kan skilja bra utdata från dålig, med belägg i stället för intryck. Och ni kan ersätta det: ni vet vad systemet är beroende av, vad det skulle kosta att byta och vem mer som skulle kunna göra jobbet.

De flesta överlämningar levererar den första förmågan och hoppar över de tre andra. Det är därför system driver iväg.

Dokumentationen som spelar roll

Dokumentation skrivs för att uppfylla en avtalsklausul, så den beskriver arkitektur som ingen någonsin kommer att röra och utelämnar det som folk faktiskt behöver. Håll listan kort och kräv det här:

• En felhanteringsmanual. De fem mest sannolika sakerna som kan gå fel, hur var och en ser ut utifrån, och de tre första stegen för varje. Skriven för den som har jouren, inte för en ingenjör.
• En utvärderingsuppsättning. Hundra till tvåhundra verkliga fall med rätt svar för vart och ett, godkända av dem som gör jobbet. Detta är hela projektets mest värdefulla artefakt.
• En ändringslogg med skäl. Inte bara vad som konfigurerades, utan varför en regel finns. Regler utan skäl raderas av nästa person.
• En beroende- och kostnadsförteckning. Varje modell, API och leverantör; vad det kostar per månad; datum för avtalsförnyelse; vad som går sönder om det försvinner.
• En datakarta. Vilka data som går vart, vem som kan se dem, hur länge de sparas. Era jurister och säkerhetsansvariga kommer att behöva det här utan förvarning.

Allt annat är valfritt. Om ett dokument inte hjälper någon att driva, ändra, bedöma eller ersätta systemet är det dekoration.

De tre personer ni behöver

Ni behöver inte anställa ett maskininlärningsteam. Ni behöver tre namngivna personer, och ni bör utse dem innan projektet startar, inte under sista månaden.

En verksamhetsägare som avgör vad systemet ska göra och håller i budgeten. Personen godkänner ändringar och säger nej till att omfattningen växer. Det här är ingen teknisk roll.

En teknisk förvaltare som kan läsa konfigurationen, göra en kontrollerad ändring, testa den och sätta den i produktion. Ofta en befintlig utvecklare eller en IT-ingenjör med avsatt tid. Personen behöver inte bygga modeller; personen behöver kunna ändra och driftsätta det som finns.

En kvalitetsägare från den avdelning systemet betjänar — den erfarna skadereglerarn, den ledande sjuksköterskan, supportchefen. Personen underhåller utvärderingsuppsättningen och avgör vad "bra" betyder. Utan den rollen blir kvalitet en åsiktsfråga inom ett par veckor.

Total intern kostnad: oftast en bråkdel av en heltidstjänst vardera, när systemet väl är stabilt. Felläget är inte kostnaden. Det är att ingen blev utsedd.

Testa överlämningen medan ni fortfarande kan klaga

Godta inte dokumentation som bevis på överföring. Kör ett skarpt test under uppdragets sista veckor, medan konsulterna fortfarande är kontrakterade.

Välj en verklig ändring — lägg till en ny produkt i kunskapsbasen, skärp en regel om vad systemet vägrar svara på, byt in en uppdaterad prislista. Be ert eget team göra den, med konsulterna i rummet men tysta. Ta tid. Låt sedan er kvalitetsägare köra utvärderingsuppsättningen och bekräfta att inget annat gick sönder.

Om ert team klarar det på en dag äger ni systemet. Om det tar en vecka och tre frågor har ni hittat exakt de luckor som behöver täppas till innan fakturorna tar slut. Vilketdera resultatet är värt långt mer än ett påskrivet överlämningsprotokoll.

Skriv in det här i avtalet från början. Överlämningsmilstolpar, ett namngivet mottagande team och ett övervakat ändringstest är alla lättare att förhandla om innan arbetet börjar än efteråt.

Vi bygger på det sättet på Hercules A, och det innebär att våra uppdrag tar slut. Det är hela poängen. Måttet på ett bra AI-projekt är inte hur djupt konsulterna sitter kvar ett år senare — det är hur tryggt era egna medarbetare ändrar systemet utan att ringa någon.