Brak tytułu: Koszty funkcjonowania systemu sztucznej inteligencji po jego wdrożeniu
Opłaty za model, konserwacja, przegląd ludzki i cicha drgania jakości - praktyczny sposób na budżetowanie dwunastu miesięcy po uruchomieniu systemu AI.
Faktury, które często zaskakują
Większość budżetów na AI kończy się po uruchomieniu projektu. Propozycja powinna obejmować fazę odkrywczą, projektową, integracyjną i datę uruchomienia. Następnie system działa przez dwa lata, a nikt nie zapisał kosztów tych dwóch lat. Oto co faktycznie pojawia się na fakturze.
Standardowa faktura to część, którą możesz obliczyć
Opłaty modelowe są naliczane według tokenu - mniej więcej za każde słowo wejściowe i wyjściowe. Dzięki prostym obliczeniom można to przewidzieć.
Weź wewnętrznego asystenta obsługi klienta obsługującego 8000 rozmów miesięcznie, z sześcioma turami na każdą. To daje 48 000 wywołań modelu. Każde wywołanie zawiera Twoje instrukcje, pobrane dokumenty i dotychczasową konwersację - mówiąc w uproszczeniu o 5000 tokenach wejściowych - i zwraca około 400 tokenów wyjściowych. Kupujesz 240 milionów tokenów wejściowych i 19 milionów tokenów wyjściowych miesięcznie. Przy średnich cenach modeli, to koszt około 1000 dolarów miesięcznie, a buforowanie poleceń przy powtarzających się instrukcjach może znacząco obniżyć wydatki.
Dwie rzeczy zaskakują ludzi. Po pierwsze, opłaty za dane wejściowe dominują: płacisz za wszystko, co wysyłasz, za każdą turę, a długi kontekst jest głównym elementem, który możesz kontrolować. Po drugie, ponowne próby, oceny i wewnętrzne testy dodają 15-30% do ruchu produkcyjnego. Budżetuj na podstawie całkowitej liczby, nie czystej.
Ceny modeli za token systematycznie spadają. Wydatki całkowite zazwyczaj rosną w każdym razie, ponieważ użycie wzrasta, a nowsze modele są wykorzystywane do trudniejszych zadań. Planuj na podstawie objętości, nie stawek.
Faktury, których nikt nie uwzględnił w propozycji
Opłaty modelowe rzadko stanowią największą pozycję. Pozostała część kosztów operacyjnych jest zwykłą pracą związaną z funkcjonowaniem systemów AI:
- Recenzja ludzka: Ktoś co tydzień czyta próbki rzeczywistych wyjść i decyduje, czy jakość jest zachowana. Dla systemów obsługujących klienta zakładaj kilka godzin tygodniowo, na stałe.
- Infrastruktura wokół modelu: Indeksy wyszukiwania, magazyny wektorowe, rejestrowanie i rurociąg aktualizujący dokumenty. Każda pozycja jest niewielka indywidualnie, ale stała w sumie.
- Prace zmianowe: Nowe produkty, nowe zasady, nowe przypadki brzegowe, z którymi system radzi sobie źle. Oczekuj małego, stałego strumienia korekt zamiast rzadkich dużych aktualizacji.
- Zmiany dostawców: Modele stają się przestarzałe zgodnie z opublikowanymi harmonogramami. Migracja do następcy oznacza ponowne testowanie wszystkiego, co starego model dobrze wykonywał, zazwyczaj raz w roku.
- Komisje i rejestry: Retencja, kontrola dostępu i audyt, który udowadnia, co system powiedział klientowi w marcu.
Drift to pozycja, która zaskakuje ludzi
Oprogramowanie zawodzi głośno. Systemy AI degradują cicho i są pewne siebie do samego końca.
Twoja działalność ulega najpierw zmianie. Ceny zmieniają się, produkt zostaje wycofany, polityka jest zmieniana. System odpowiada na podstawie wersji, którą otrzymał, płynnie i błędnie, dopóki ktoś tego nie zauważy.
Następnie zmieniają się Twoi użytkownicy. Kiedy ludzie nauczą się, co system obsługuje, zaczynają go używać w sąsiednich obszarach, do których nigdy nie był przystosowany. Ruch, który początkowo wyglądał jak odpowiadanie na pytania, staje się interpretacją umów, a dokładność, którą mierzyłeś przy uruchomieniu, już nie opisuje tego, co się dzieje.
Zmienia się również Twój zawartość. Pobieranie, które działało na 400 dokumentach, staje się rozmyte po 4000, ponieważ więcej podobnych dopasowań wypiera prawidłową odpowiedź.
Żadna z tych rzeczy nie wywołuje alarmu. Pojawiają się miesiące później w postaci rosnących eskalacji, spadającego użycia lub skargi od klienta, który działał na podstawie czegoś, co powiedział system. W tym momencie koszt naprawy jest znacznie wyższy niż monitorowanie.
Obrona jest nieatrakcyjna i tania: pobierz 50-100 prawdziwych interakcji miesięcznie, oceniaj je w stosunku do tego, co powiedziałby dobry pracownik, i śledź wynik w czasie. Jedna osoba, pół dnia każdego miesiąca. Ta jednorazowa praktyka wychwytuje prawie wszystkie powyższe tryby awarii, gdy są jeszcze małe.
Budżet, który przetrwa kontakt z rzeczywistością
Planuj roczny koszt bieżący na poziomie 30-50% kosztu budowy w pierwszych dwóch latach. Poniżej 20%, system jest zaniedbywany, a krzywa jakości odzwierciedli to. Powyżej 60%, albo budowa pozostawiła za dużo nieukończonych zadań, albo przypadek użycia jest bardziej zmienny niż początkowo wyglądało.
Podziel tę kwotę na trzy puli: wykorzystanie (opłaty modelowe i infrastruktura, skalowanie z objętością), obsługa (recenzja, monitorowanie, rejestry - mniej więcej stałe) i zmiany (dostosowywanie do Twojej działalności i harmonogramu dostawcy). Pule zachowują się inaczej, więc pojedyncza skonsolidowana liczba wprowadzi Cię w błąd podczas pierwszej analizy.
Następnie określ właściciela. System AI bez określonego właściciela i stałej pozycji budżetowej nie jest utrzymywany; jest tolerowany aż do cichego porzucenia. To rzeczywisty koszt pomijania tej procedury - nie nadmierne wydatki, ale płacenie za budowę dwukrotnie.
Pracuj nad stawką przed budową, a nie po niej. Ta liczba często zmienia to, co decydujesz o budowie, i właśnie do tego jest przeznaczona. Jest to pierwsza kalkulacja, którą przeprowadzamy z klientem, i czasami jest powodem zalecenia mniejszego systemu niż ten, o który prosili.