AI-ul tău are nevoie de un înregistrator de zbor, și tu îl construiești în prima zi.
Unul-două înregistrări care îți permit să explici orice ieșire AI luni mai târziu și să detectezi deviații de calitate înainte ca un client să o facă.
Când un sistem bazat pe inteligență artificială ajunge în producție, prima întrebare dificilă nu este niciodată cum funcționează. Un client conteste o cotă, un auditor întreabă cum a fost luată o decizie, iar cineva din echipa ta observă că rezumatele s-au înrăutățit în acest lună și nu poate spune când a început.
În acel moment, fie ai înregistrarea, fie nu o ai, și nu poți reconstrui-o mai târziu. Repornirea aceleiași întrebări astăzi îți oferă răspunsul de astăzi din modelul de astăzi, promptul de astăzi și datele de astăzi. Aceasta nu este dovada a nimicului.
Înregistrarea este o decizie luată de la început. Adăugată ulterior, acoperă doar ceea ce se întâmplă în continuare.
Cele șase elemente care produc un răspuns
Un răspuns bazat pe inteligență artificială este produsul unui set mic de intrări. Înregistrează toate acestea pe fiecare apel, de la prima solicitare:
- Solicitarea - un ID unic, o marcă temporală, cine sau ce sistem a cerut și textul sau datele exact furnizate.
- Contextul - fiecare document, înregistrare sau rând pe care sistemul l-a recuperat și a plasat în fața modelului, identificat individual, împreună cu versiunea fiecăruia.
- Instrucțiunile - șablonul prompt plus orice asamblat la timp de rulare, împreună cu versiunea șablonului.
- Modelul - identificatorul exact al modelului, nu numele familiei, împreună cu setările utilizate: temperatură, limite de tokenuri, instrumentele pe care le-ar putea apela.
- Output-ul - răspunsul brut înainte de orice curățare și versiunea procesată dacă cele două diferă.
- Consecința - ce s-a întâmplat mai departe: afișat unui utilizator, trimis unui client, utilizat pentru a aproba o cerere, și dacă o persoană l-a acceptat, editat sau respins.
Fără context și instrucțiuni, rămâi cu jumătate din conversație. Poți vedea ce răspuns a dat sistemul și nu poți stabili de ce acel răspuns a fost rezonabil.
Versiunile sunt partea pe care toată lumea o omite
Trei lucruri se schimbă sub un sistem bazat pe inteligență artificială fără ca cineva să depună o cerere de modificare. Cineva editează un prompt marți după-amiaza. Furnizorul actualizează modelul în spatele aceluiași nume API. Baza de cunoștințe este reindexată și sistemul începe să recupereze documente diferite pentru aceeași întrebare.
Fiecare dintre acestea poate afecta calitatea, iar niciuna nu apare într-un jurnal de ieșire. Înregistrează un identificator de versiune pentru prompt, modelul și indexul datelor pe fiecare apel, și întrebarea „ce s-a schimbat între săptămâna bună și cea rea” va fi răspunsă în câteva minute. Fără ele, va dura o săptămână de ghicitori, de obicei în timp ce cineva senior așteaptă.
Corecțiile umane sunt cel mai bun semnal
Când o persoană editează un draft generat de AI înainte de a-l trimite, ea a spus exact ce era greșit, în cele mai specifice termeni disponibili. Stochează originalul alături de versiunea editată.
Fă acest lucru și două lucruri vor urma. Rata de editare devine un indicator de calitate pe care îl poți urmări săptămânal, iar acesta se mișcă înainte ca plângerile să apară. Și corecțiile se acumulează într-un set de exemple pe care le poți folosi pentru a îmbunătăți sistemul, construite din propria ta muncă, nu cumpărate sau inventate.
Drift-ul este o comparație, nu un alarmă
Nimic nu te va alerta că ieșirile s-au înrăutățit. Degradarea este graduală și fiecare răspuns individual pare plauzibil.
Metoda practică este să păstrezi un set fix de solicitări reale - 100 sunt suficiente, selectate din traficul real și care acoperă cazurile tale neplăcute - și să le rulezi din nou lunar. Compară răspunsurile noi cu cele stocate. Unde diferă, o persoană citește ambele și spune care este mai bun. Aceasta funcționează doar dacă ai păstrat intrările, care este întregul argument pentru înregistrarea lor.
Combină-le cu numerele pe care le ai deja: rata de editare, rata de respingere, escaladarea la un om, procentul de răspunsuri unde sistemul nu a găsit documente relevante. O creștere în ultimul indică adesea că datele tale s-au degradat, nu că modelul tău a eșuat.
Decideți retenția și redacția din start
Aceste jurnale conțin tot ce au scris clienții tăi, ceea ce înseamnă că poartă aceleași obligații ca orice altă dată personală. Clasifică câmpurile așa cum sunt scrise, maschează sau tokenizează ceea ce nu trebuie să fie citit, și stochează jurnalele separat de aplicație, astfel încât o eșec în una să nu ducă la pierderea înregistrării.
Stabilește retenția deliberat. Pentru decizii cu greutate contractuală sau reglementară, păstrează înregistrarea atâta timp cât expunerea durează, și asigură-te că magazinul este doar pentru adăugare, astfel încât nimeni să nu poată revizui istoria în secret. Pentru traficul rutier, mai puțin este mai bun și mai ieftin. Numără o singură persoană responsabilă de politică.
Stocarea este partea ieftină. Scumpul este adaptarea tuturor acestor înregistrări într-un sistem live, în timp ce ești deja întrebat să explici un răspuns pe care nu îl poți justifica. Construim aceste înregistrări de la început, pentru că ele sunt ceea ce transformă un sistem bazat pe inteligență artificială dintr-unul în care ai încredere într-unul pe care îl poți demonstra.