Cum se măsoară dacă un proiect de inteligență artificială a funcționat cu adevărat?
Un cadru practic pentru evaluarea proiectelor de inteligență artificială prin rezultate de afaceri - linii de bază, metrici reale, costuri complete și ce să urmărești după lansare.
Măsurarea proiectelor de inteligență artificială: Cum să definim și să evaluăm succesul
Cele mai multe proiecte de inteligență artificială (AI) se încheie cu o demonstrație și aplauze, însă puține ajung la un rezultat cuantificabil după șase luni. Problema nu este neapărat tehnologia în sine, ci lipsa unei definiții clare a succesului înainte de începerea lucrărilor.
Definirea "succesului" înainte de scrierea codului
Un proiect AI are succes atunci când modifică un indicator numeric relevant pentru afacere. Nu este vorba de acuratețe, calitatea răspunsurilor sau "adoptarea" abstractă, ci de o cifră: ore de muncă manuală eliminate, zile reduse din proces, ratele de erori în facturi, costul pe bilet gestionat, veniturile pe reprezentant.
Scrieți această cifră și obiectivul înainte de începerea proiectului, iar dacă echipa nu poate menționa numărul pe care proiectul ar trebui să-l atingă, atunci proiectul nu este pregătit pentru finanțare.
Măsurarea liniei de bază mai întâi
Nu puteți demonstra îmbunătățiri fără a înregistra o linie de bază. Înainte de lansarea sistemului, petreceți o săptămână sau două înregistrând modul în care procesul funcționează în prezent: cât durează sarcinile, cât de des acestea eșuează, costurile, cine le gestionează. Este un lucru neplăcut, dar este cel mai adesea omis pas în adoptarea AI.
Linia de bază nu trebuie să fie perfectă; zece exemple cronometrate ale procesului actual sunt mai bune decât nimic. Fără ele, orice discuție ulterioară despre valoare devine o dezbatere între opinii.
Judecarea rezultatelor, nu performanța modelului
Echipele tehnice vor raporta metrici tehnice - acuratețe, latență, scoruri de benchmark. Acestea sunt importante pentru ei, dar nu ar trebui să fie principalele preocupări la nivel de conducere. Un model poate fi 95% precis și totuși eșua ca proiect dacă cele 5% greșite afectează clienții importanți sau dacă personalul încetează pur și simplu să-l folosească în martie.
Metricile care merită analizate la nivel de conducere sunt împărțite în patru categorii:
- Output: munca este mai rapidă, mai ieftină sau mai bună decât linia de bază?
- Adoptare: ce procent din sarcinile eligibile trec prin sistem și dacă această rată crește sau scade?
- Excepții: cât de des intervenția umană este necesară, corectarea sau anularea - și aceste cazuri devin mai rare?
- Încredere: utilizatorii ar fi nemulțumiți dacă ar pierde sistemul?
Numărul de adoptare merită o atenție specială. Un sistem utilizat pentru 8% din sarcinile eligibile nu a funcționat, indiferent de acuratețe. Scăderea utilizării este un semnal onest timpuriu că ceva este greșit și apare mult mai devreme decât oricine depune o plângere.
Calcularea costului total
Costul de construire este partea vizibilă. Costul real include și elementele continue: costurile abonamentului și ale calculului, timpul petrecut de personal revizuind ieșirile, întreținerea atunci când un furnizor schimbă un API sau procesul pe care a fost construit sistemul. Un proiect care economisește douăzeci de ore pe săptămână, dar consumă zece în revizuire și întreținere, are de fapt o randament real jumătate din cel anunțat.
Stabiliți o revizuire la trei și șase luni după lansare și comparați costul total de funcționare cu câștigul măsurat. Multe proiecte care păreau marginale la lansare devin clar pozitive până la șase luni; unele care au demonstrat strălucitor la început sunt clar negative. Doriți să știți care este situația în timp util pentru a remedia sau opri proiectul.
Monitorizarea degradării
Un sistem AI nu este un pod; nu rămâne construit. Datele se schimbă, afacerea se schimbă, modelul din spatele unui API se modifică fără avertisment. Un sistem care funcționa în ianuarie poate aluneca încet până în iulie și, deoarece ieșirile par plauzibile, nimeni nu observă până când un client o face.
Remediul este ușor: mențineți un set mic de cazuri cunoscute cu răspunsuri corecte cunoscute și rulați-le prin sistem lunar. Dacă rezultatele se schimbă, veți afla din propriile verificări, nu din piață. Asigurați-vă că această sarcină are o persoană responsabilă; degradarea care rămâne neobservată de nimeni nu va fi observată niciodată.
Testul de o pagină
Dacă un proiect AI a avut succes, ar trebui să puteți rezuma pe o pagină: linia de bază, obiectivul, rezultatul măsurat, costul total și tendința din momentul lansării. Dacă această pagină nu poate fi scrisă, concluzia onestă nu este că proiectul a eșuat, ci că nimeni nu poate spune cu siguranță dacă a avut succes sau nu, ceea ce este echivalent pentru afacere.
Această disciplină de măsurare este mai grea decât majoritatea echipelor se așteaptă, dar este exact greutatea pe care merită să o poarte - este ceea ce separă AI-ul care demonstrează bine de cel care plătește. De asemenea, este partea adoptării pe care Hercules A o construiește din start, astfel încât întrebarea "a funcționat sau nu?" are întotdeauna un răspuns numeric.