Reparați sau reconstruiți: Cinci semne că un sistem de inteligență artificială și-a epuizat cursul
Sistemele AI rareori eșuează în mod spectaculos. Cinci semnale concrete că întreținerea s-a oprit și cum să cântărești costul de a menține un sistem față de înlocuirea lui.
Un sistem AI nu moare niciodată într-un mod care impune o decizie
Un sistem AI continuă să răspundă, să evalueze și să producă un fișier în fiecare dimineață. Între timp, echipa găsește soluții alternative, cererile de schimb se acumulează, iar cheltuielile anuale cresc fără ca cineva să decidă să le crească. Sfârșitul vieții sistemului apare printr-o creștere lentă a costului menținerii lui, un tip de cost care nu apare niciodată pe o agendă.
Astfel, decizia este amânată. Reconstrucția pare scumpă și perturbatoare; continuarea funcționării pare gratuită. Nu este gratuită, iar rolul unui lider în această situație este să observe momentul când costurile de menținere depășesc costul înlocuirii.
Cele cinci semnale
Acestea sunt indicii care se mențin constant în diferite industrii și tipuri de sisteme. Orice semnal individual este un motiv să investighezi mai atent. Trei semnale împreună înseamnă că decizia a fost deja luată pentru tine.
- Schimbările minore nu mai sunt minore. O regulă de prețare care necesita două zile pentru ajustare în primul an, acum necesită trei săptămâni și afectează patru alte aspecte. Sistemul a acumulat suficiente cazuri speciale încât nimeni nu poate prezice raza de acțiune a unei schimbări.
- Contorizările ocolesc sistemul oficial. Oamenii exportă ieșirea și o corectează într-un fișier spreadsheet înainte ca cineva să o utilizeze. Acum, acest fișier are un proprietar, o convenție de denumire și o copie de rezervă. Sistemul real este cel al contorizării; cel oficial este doar o sursă de date.
- Nu poți răspunde la întrebări de bază despre el. De ce a refuzat sistemul acest client în martie? Care versiune funcționa când s-au schimbat cifrele? Dacă nimeni nu poate răspunde fără o săptămână de cercetare, expui organizația la riscuri reglementare și de reputație pentru care nu ai calculat costul.
- Cunoștințele sunt deținute de una sau două persoane. Fiecare schimbare așteaptă pe aceeași persoană. Ei nu ascund nimic; sunt pur și simplu singura copie supraviețuitoare a deciziilor de design. Acesta este un risc de personal, deghizat ca un risc tehnic.
- Restricția care a stat la baza sistemului a dispărut. Sistemul a fost construit în jurul unei limitări care nu mai există - o fereastră de context, un plafon de latență, un preț pe apel sau o capacitate care necesita trei componente și acum necesită doar una. Multe dintre ceea ce menții sunt structuri pentru o problemă care a dispărut.
Ce nu este un semnal
O singură perioadă slabă de calitate a ieșirii este de obicei o problemă de date, nu de design. Lansarea unei noi modele nu este un motiv să reconstruiești nimic; dacă sistemul tău este bine structurat, schimbarea modelului este o modificare de configurare și ar trebui să testezi dacă este. Un incident zgomotos nu este nici el o dovadă - incidentele apar în jurul sistemelor vizibile, nu ale celor fragile.
Diferența importantă este între un sistem care funcționează slab și un sistem care a devenit scump de schimbat. Primul poate fi remediat. Al doilea reprezintă un verdict structural, iar nicio cantitate de patch-uri nu îl poate inversa.
Prețuiește costul de menținere, nu doar reconstruirea
Propunerile de reconstrucție pierd adesea pentru că doar o parte a calculului primește un număr. Atribuie o valoare și partea cealaltă înainte de a lua o decizie.
Adună ceea ce sistemul actual a consumat în ultimele 12 luni: ore de inginerie pentru întreținere și incidente, factura furnizorului și computerele, orele petrecute de oameni pentru corecții manuale în aval, și valoarea schimbărilor pe care afacerea le-a cerut și nu le-a primit. Această ultimă componentă este de obicei cea mai mare și aproape niciodată calculată. Apoi, compară cu aceeași perioadă de 12 luni din urmă. Dacă linia este în creștere, în timp ce ieșirea rămâne constantă, ai răspunsul tău, și îl ai în singura monedă pe care un consiliu o ia în considerare.
Reconstruiește în felii și păstrează datele
Reconstrucția nu înseamnă un program de doi ani cu o dată de comutare. Sistemele care se reconstruiesc bine sunt înlocuite o capacitate la un moment dat: ridică calea nouă pentru o fâșie restrânsă de trafic, rulează-o alături de vechea cale, compară ieșirile pe cazuri reale, mută fâșia peste, repetă. Vechea sistem rămâne activă până când ultima fâșie dispare. La niciun moment afacerea nu depinde de un singur weekend de comutare.
Singurul lucru care merită păstrat este datele - exemplele etichetate, corecțiile, înregistrarea a ceea ce sistemul s-a înșelat și cum au fost corectate erorile. Această judecată acumulată este activul cu adevărat valoros. Codul din jurul ei poate fi înlocuit, iar la un moment dat ar trebui să fie.
Majoritatea organizațiilor așteaptă cam un an prea mult. Costul acelui an este rar vizibil, tocmai de aceea trebuie măsurat. Am dezvoltat practica noastră în jurul purtării acestui greutate pentru clienții noștri, dar măsurarea revine ție și este mai bine să o faci înainte de următorul ciclu bugetar decât după.