Własne sprzęt czy API kogoś innego: uczciwe rozważania dotyczące kosztów, kontroli i prywatności
Uruchamianie AI na własnych serwerach lub płacenie dostawcy za każde żądanie zmienia koszty, kontrolę i ekspozycję danych. Jak wybrać?
Co oznacza każda opcja?
Za pomocą API dostawca uruchamia model. Twoje oprogramowanie wysyła tekst, dostawca zwraca odpowiedź, a ty otrzymujesz rachunek oparty na wolumenie. Uzyskujesz najbardziej zaawansowane modele dostępne, aktualizacje docierają bez żadnego wysiłku z twojej strony, i możesz rozpocząć działanie tego samego dnia.
Na własnym sprzęcie kupujesz lub wynajmujesz serwery z wydajnymi GPU i uruchamiasz na nich otwarte modele o dużej wadze. Maszyny te znajdują się w twoim biurze, centrum danych lub prywatnym koncie chmury, które kontrolujesz. Nic nie opuszcza twojego peryferia, chyba że sam je wyślesz.
Koszt: punkt zwrotny dotyczy wolumenu
Ceny API wydają się niskie, ponieważ zaczynają od zera. Pilot przetwarzający kilka tysięcy dokumentów miesięcznie kosztuje mniej niż obiad dla zespołu. To nie trwa długo. Koszty rosną wprost proporcjonalnie do użycia, więc system przechodzący z pilota do każdego działu może przekształcić się z bagatelnej kwoty w rzeczywistą pozycję budżetową w ciągu kwartału.
Własny sprzęt zmienia to. Płacisz dużą sumę z góry, a po tym każda dodatkowa prośba kosztuje prawie nic. Maszyna kosztuje tak samo, czy obsługuje dziesięć żądań, czy dziesięć tysięcy. Nadal masz koszty eksploatacyjne: prąd, chłodzenie, części zamienne i godziny poświęcone na utrzymywanie jej w dobrym stanie. To ostatnie jest kosztem, który większość firm niedocenia.
Rzetelne zasady: jeśli twoje użycie jest małe, nieregulowane lub nadal eksperymentalne, API jest tańsze. Jeśli jest stałe, o wysokim wolumenie i zintegrowane z codziennymi operacjami, własny sprzęt zazwyczaj sam się opłaca w ciągu jednego do trzech lat. Oblicz swoje rzeczywiste miesięczne wolumeny przed podpisaniem umowy. Większość firm błędnie ocenia je w obu kierunkach.
Kontrola: kto decyduje o zmianach?
Dostawca może wycofać model, na którym zależyś, zmienić jego zachowanie, podnieść ceny lub ograniczyć cię w czasie zatłoczonego tygodnia. Zazwyczaj dają o tym znać. Nie proszą o pozwolenie. Jeśli przepływ pracy został dostosowany do dziwactw jednego modelu, nagły upgrade może cicho go zakłócić, a ty dowiesz się o tym, gdy wynik zacznie wyglądać nieprawidłowo.
Na własnym sprzęcie model, który przetestowałeś, jest modelem, którego uruchamiasz tak długo, jak chcesz. Wybierasz, kiedy zaktualizować, i możesz najpierw przetestować nową wersję przeciwko starej. Ta stabilność ma największe znaczenie dla procesów, które dostarczają umowy, raporty zgodności lub cokolwiek, co regulator może poprosić o wyjaśnienie.
Cena tej kontroli to odpowiedzialność. Kiedy serwer awaryjnie się zatrzyma o 3 rano, nikt inny niż inżynier na zmianie podnosi telefon.
Prywatność: przeczytaj umowę, a następnie mapuj dane
Wielu dostawców API oferuje warunki biznesowe wykluczające twoje dane z treningu modelu, a wielu oferuje regionalną rezydencję danych. Dla wielu firm to wystarczy. Jednak "nie używane do treningu" nie jest takie samo jak "nigdy nie opuszcza budynku". Twoje dane nadal przekraczają sieć, siedzą krótko na infrastrukturze kogoś innego i podlegają ich polityce przechowywania oraz jurysdykcji.
Dla niektórych danych to w porządku. Dla poufnych plików prawnych, rekordów pacjentów, niezapowiedzianych sprawozdań finansowych lub danych osobowych objętych ścisłymi krajowymi przepisami może nie być, niezależnie od tego, co mówi umowa. Własny sprzęt usuwa kwestię transferu do ujawnienia i brak trzeciej strony do audytu.
Pytania decydujące
Przed podjęciem decyzji uzyskaj jasne odpowiedzi na następujące pytania:
- Wolumenie: Ile żądań miesięcznie obecnie, a w ciągu roku, jeśli projekt odniesie sukces?
- Wrażliwość danych: Które z twoich danych można prawnie i umownie wyprowadzić poza systemy?
- Potrzeby funkcjonalne: Czy zadanie wymaga najsilniejszego modelu na rynku, czy dobry model otwarty wystarczy?
- Możliwości operacyjne: Kto będzie naprawiał sprzęt, monitorował go i utrzymywał w dobrym stanie, czy mają na to czas?
- Tolerancja na zmiany: Co się złamie, jeśli model pod spodem zmieni się bez uprzedzenia?
Większość firm kończy z obiema opcją
Wybór rzadko jest czarno-biały. Typowy i rozsądny wzór polega na uruchamianiu wrażliwych, o wysokim wolumenie, przewidywalnych zadań na własnym sprzęcie i wysyłaniu okazjonalnych, złożonych lub eksperymentalnych zadań do API. Wyszukiwanie wewnętrznych dokumentów w poufnych plikach pozostaje wewnątrz firmy. Jednorazowy analizator rynku idzie do najsilniejszego modelu, który można wynająć.
Zacznij od API, aby dowiedzieć się, co działa i zmierzyć rzeczywiste użycie. Przenieś obciążenie na własny sprzęt, gdy liczby i zasady dotyczące danych uzasadnią to. Ta jest ciężka praca, którą wykonujemy w Hercules A, określając ten podział i uruchamiając wewnętrzną stronę, ale powyższe rozumowanie dotyczy każdego, kto wykonuje tę pracę. Decyduj na podstawie swojego wolumenu, danych i możliwości, a nie od dostawcy, który ostatnio cię odwiedził.