Modernizarea de care nu ai avut nevoie

Când actualizările modelelor AI afectează funcționalitatea

Sistemul tău AI a funcționat perfect vineri. Luni, continuă să ofere răspunsuri rapide și precise, trecând cu brio toate verificările de pe tabloul de bord. Cu toate acestea, răspunsurile par ușor diferite - mai lungi, ambigue, formate într-un mod care ar putea perturba sistemele care procesează informațiile din aval, sau pur și simplu greșite în privința unor politici pe care le cunoștea anterior.

Nimic nu s-a defectat. Furnizorul tău a livrat o actualizare a modelului.

Acest tip de eroare surprinde cel mai mult echipele de conducere, deoarece nu pare deloc ca o defecțiune. Nu există nicio lumină roșie. Sistemul raportează că este sănătos, în timp ce calitatea ieșirii sale s-a schimbat sub privirea ta. Clienții tăi observă înainte ca sistemele tale de monitorizare.

De ce actualizările modelelor pot cauza probleme

Un model mai nou este, în medie, mai bun, dar diferă în mod specific. Furnizorii optimizează pentru benchmark-uri agregate; tu ai implementat modelul împotriva unei nișe a realității tale. Când modelul se schimbă, comportamentele pe care le-ai optimizat în jurul lor se modifică și ele - formularea pe care o foloseai în solicitările tale, structura JSON pe care integrarea ta o așteaptă, limita de refuz aprobată de echipa ta de conformitate, sau lungimea care se potrivea interfeței tale utilizator.

Actualizările ajung în trei moduri: furnizorul îți retrage o versiune a modelului și te migrează, tu folosești un alias care rezolvă automat la cea mai recentă versiune, sau alegi să actualizezi din motive de cost sau latență, presupunând că calitatea va crește. Toate acestea duc la același rezultat: comportamentul s-a schimbat, iar nimeni nu a măsurat schimbările.

Construiți un sistem care să vă informeze

Singurul control important este un set fix de teste cu răspunsuri corecte - un set "de aur". 200 de exemple reale din traficul tău, acoperind cazurile tale comune, cele extreme și situațiile în care o greșeală costisitoare. Fiecare cu răspunsul pe care afacerea ta îl consideră corect.

Rulați acest set împotriva modelului curent și înregistrați rezultatele. Această înregistrare este punctul vostru de referință. Când apare un nou model, rulați din nou setul și comparați rezultatele. Compararea reprezintă întregul produs: acum aveți dovezi, nu impresii.

Construirea acestui sistem necesită câteva zile și implicarea operatorilor tăi, nu a inginerilor, pentru a defini ce înseamnă "corect". Majoritatea organizațiilor o ocolesc, considerând-o ca o sarcină suplimentară înainte de lansare. Este cea mai ieftină asigurare din întregul sistem.

Controlul momentului actualizării

Fixați versiuni explicite ale modelului în fiecare configurație de producție. O versiune fixă transformă un atac surpriză într-o decizie programată. Tratează apoi fiecare actualizare ca pe un mic proiect:

Rulați setul de aur împotriva noii versiuni și comparați rezultatele, caz cu caz, cu punctul vostru de referință
Solicitați proprietarului afacerii să revizuiască fiecare caz în care răspunsul s-a schimbat, nu doar cazurile în care s-a înrăutățit - îmbunătățirile pot afecta și alte sisteme din aval
Trimiteți o mică parte din traficul live către noua versiune și monitorizați semnalele operaționale: rata de escaladare, timpul mediu de gestionare, numărul de modificări aduse de personal înainte de a trimite sistemul, clicurile "nu-mi place".
Păstrați versiunea anterioară accesibilă pentru o fereastră de revenire, și știți cine are autoritatea să comute comutatorul.
Înregistrați decizia, data și dovezile, astfel încât următoarea actualizare să înceapă de la un stat cunoscut.

Observați ce nu se află pe această listă: un demo. Privind un model nou răspunzând impresionant la cinci întrebări nu vă oferă nicio informație despre 20-a percentile a traficului vostru, de unde provin plângerile voastre.

Monitorizați semnalele generate deja de afacerea ta

Între actualizări, orice drifte a calității se vor manifesta în cifre pe care probabil le colectați deja. Escaladări către un operator uman, timp mediu de gestionare, frecvența cu care personalul modifică răspunsul sistemului înainte de trimitere, contacte repetate pentru aceeași problemă într-o săptămână. Orice creștere cu 3-4 puncte într-un interval de două săptămâni merită o analiză a ceea ce s-a schimbat la nivelul modelului.

Înmputerniciți o singură persoană să revizuiască săptămânal aceste cifre, comparându-le cu versiunea modelului din producție. Nu un comitet, nici o revizuire trimestrială. Un proprietar desemnat și 15 minute de analiză.

Includeți aceste aspecte în contract

Solicitați furnizorului să vă informeze în scris înainte de retragerea unei versiuni, să documenteze o perioadă minimă de suport pentru versiunile fixate și să ofere acces la versiunea anterioară în timpul migrației. Furnizorii care servesc industrii reglementate oferă, de obicei, aceste servicii. Cei care nu le oferă vor menționa acest lucru, iar răspunsul lor este util înainte de a vă baza pe ei, nu după.

Poziția onestă

Nu poți opri furnizorul să-și îmbunătățească modelele, și nici nu ai vrea să o faci. Ce poți face este să te asiguri că îmbunătățirile se produc în condițiile tale: măsurate, etapizate, reversibile și gestionate de cineva responsabil.

Aceasta este sarcina neglumă a rulării AI în producție, pe care o asumăm pentru clienții noștri care ar prefera să-și concentreze atenția asupra afacerii lor. În orice caz, construiți setul de aur. Totul altceva depinde de el.