Factura după construire: Cât costă cu adevărat funcționarea unui sistem AI
Taxe de model, întreținere, revizuire umană și drifte calitative liniștite - o modalitate practică de a bugeta cele douăsprezece luni după ce sistemul tău AI intră în funcțiune.
Factura care acoperă totul
Majoritatea bugetelor pentru AI se epuizează la lansare. Propunerea include descoperirea, dezvoltarea, integrarea și data de punere în funcțiune. Apoi sistemul rulează timp de doi ani, iar costurile acelei perioade nu sunt înregistrate nicăieri. Iată ce apare efectiv pe factură.
Modelul de facturare este partea pe care o poți calcula
Taxele pentru model se calculează pe baza token-ului — aproximativ pe cuvânt în intrare și ieșire. Acest lucru le face previzibile dacă faci calculul odată.
Să presupunem că un asistent intern de suport gestionează 8.000 de conversații pe lună, cu șase ture fiecare. Asta înseamnă 48.000 de apeluri către model. Fiecare apel include instrucțiunile tale, documentele recuperate și conversația până în acel moment — aproximativ 5.000 de tokeni în intrare — și returnează în jur de 400 de tokeni ieșire. Achiziționezi 240 de milioane de tokeni de intrare și 19 milioane de tokeni de ieșire pe lună. La prețurile medii ale modelului, asta înseamnă aproximativ 1.000 de dolari pe lună, iar stocarea prompturilor pentru instrucțiunile repetate poate reduce semnificativ costul.
Două lucruri surprind oamenii:
- În primul rând, intrările domină: plătești pentru tot ce trimiți, la fiecare tură, iar lungimea contextului este principalul levier de cost pe care îl controlezi.
- În al doilea rând, retrierele, rundele de evaluare și testarea internă adaugă 15-30% din traficul de producție. Bugetează numărul brut, nu cel curat.
Prețurile modelului per token au scăzut constant. Cheltuielile totale cresc totuși, deoarece utilizarea crește și modelele mai noi sunt folosite pentru sarcini mai dificile. Planifică pentru volum, nu pentru rate.
Facturile pe care nimeni nu le-a inclus în propunere
Taxele pentru model rareori reprezintă cea mai mare linie. Restul costurilor de funcționare sunt operațiuni obișnuite de care sistemele AI au nevoie în cantități mai mari:
- Revizuirea umană: Cineva citește un eșantion din ieșirile reale săptămânal și decide dacă calitatea este menținută. Pentru un sistem orientat către client, presupune câteva ore pe săptămână, permanent.
- Infrastructura în jurul modelului: Indicii de căutare, magazine vectoriale, jurnalizare și pipeline-ul care ține documentele actualizate. Modeste individual, constant agregat.
- Munca de schimbare: Noile produse, noile politici, noile cazuri limite pe care sistemul le gestionează prost. Așteaptă un flux mic și constant de ajustări, nu lansări ocazionale majore.
- Schimbările furnizorilor: Modelele sunt depreciate conform programelor publice. Migrarea către un succesor înseamnă retestarea tot ce vechiul a făcut bine, de obicei o dată pe an.
- Conformitatea și înregistrările: Retenția, controlul accesului și fișa de evidență care demonstrează ce a spus sistemul unui client în martie.
Driftul este linia de cheltuieli care surprinde oamenii
Software-ul eșuează zgomotos. Sistemele AI se degradează liniștit și rămân încrezătoare până la ultimul moment.
Afacerea ta derapează prima. Prețurile se schimbă, un produs dispare, o politică este rescrisă. Sistemul continuă să răspundă versiunii pe care a fost dat, fluent și greșit, până când cineva observă.
Utilizatorii tăi derapează apoi. Odată ce oamenii înțeleg ce face sistemul, îl împing în teritorii adiacente pentru care nu a fost conceput inițial. Traficul care părea o simplă întrebare și răspuns devine interpretarea contractelor, iar acuratețea măsurată la lansare nu mai descrie realitatea.
Conținutul tău derapează, de asemenea. Recuperarea care funcționa cu 400 de documente devine neclară cu 4.000, deoarece mai multe rezultate similare îi împing pe cei buni în fundal.
Niciuna dintre aceste lucruri nu declanșează un alert. Ele apar mai târziu sub forma escaladărilor crescute, utilizare scăzută sau unei plângeri de la un client care a acționat în baza a ceea ce sistemul a spus. Până atunci, costul remedierii este mult mai mare decât ar fi costat monitorizarea.
Apărarea este nefastă, dar ieftină: eșantionează 50-100 interacțiuni reale pe lună, evaluează-le față de ceea ce un angajat bun ar spune și urmărește scorul în timp. O singură persoană, jumătate de zi, lunar. Această practică simplă captează aproape toate modulurile de mai sus înainte ca ele să devină probleme majore.
Un buget care rezistă contactului cu realitatea
Planifică costul anual de funcționare la 30-50% din costul de construire pentru primii doi ani. Sub 20%, sistemul este neglijat, iar curba calității va arăta acest lucru. Peste 60%, fie construcția a lăsat prea multe lucruri neterminate, fie cazul de utilizare este cu adevărat mai volatil decât părea inițial.
Împarte această sumă în trei categorii: utilizare (taxele modelului și infrastructura, scalarea volumului), custodie (revizuire, monitorizare, înregistrări - aproximativ constant) și schimbare (adaptarea la afacerea ta și la programul furnizorului). Buclele se comportă diferit, astfel că o singură cifră medie înșelătoare te-ar putea face să iei decizii greșite atunci când volumul dublează.
Apoi numește un proprietar. Un sistem AI fără un proprietar numit și o linie de bugetare permanentă nu va fi întreținut; va fi tolerat până la abandonul său liniștit. Acesta este costul real al omiterii acestui exercițiu - nu supra-cheltuirea, ci plata de două ori pentru o construcție inutilă.
Lucrează rata lunară înainte de construcția sistemului, nu după. Numărul se schimbă adesea deciziile pe care le iei cu privire la ce să construiești, exact ceea ce este scopul său. Este prima calculare pe care o facem cu un client și, uneori, singura motiv pentru care recomandăm un sistem mai mic decât cel pentru care au venit inițial.