Egen hardware eller en andens API: de ærlige afvejninger om omkostninger, kontrol og privatliv
At køre AI på egne servere eller betale en udbyder pr. forespørgsel ændrer dine omkostninger, din kontrol og hvor udsatte dine data er. Sådan vælger du.
Alle virksomheder, der begynder at tage AI alvorligt, står før eller siden ved den samme skillevej. Du kan sende dine forespørgsler til en udbyders API og betale efter forbrug. Eller du kan købe hardware, selv køre åbne modeller og betale på forhånd. Leverandører på begge sider vil fortælle dig, at svaret er indlysende. Det er det ikke. Det afhænger af, hvor meget du bruger, hvilke data du håndterer, og hvor stor en driftsbyrde du kan bære.
Hvad de to muligheder egentlig betyder
Med et API er det udbyderen, der kører modellen. Din software sender tekst, udbyderen sender et svar tilbage, og du får en regning efter mængde. Du får adgang til de mest kapable modeller på markedet, opdateringer kommer uden arbejde fra din side, og du kan komme i gang i eftermiddag.
Med egen hardware køber eller lejer du servere med kraftige GPU'er og kører modeller med åbne vægte på dem. Maskinerne står på dit kontor, i dit datacenter eller i en privat cloudkonto, som du selv styrer. Intet forlader dine egne systemer, medmindre du selv sender det ud.
Omkostninger: det hele handler om mængde
API-priser ser billige ud, fordi de starter ved nul. Et pilotprojekt, der behandler et par tusind dokumenter om måneden, koster mindre end en frokost for teamet. Det varer ikke ved. Omkostningerne stiger i takt med forbruget, så et system, der går fra pilot til at blive brugt i alle afdelinger, kan på et enkelt kvartal gå fra en ubetydelig post til en reel budgetlinje.
Med egen hardware er det omvendt. Du betaler et stort beløb på forhånd, og derefter koster hver ekstra forespørgsel næsten ingenting. Maskinen koster det samme, uanset om den håndterer ti eller ti tusind forespørgsler. Den har stadig driftsomkostninger: strøm, køling, reservedele og de timer, nogen bruger på at holde den kørende. Det sidste er den omkostning, de fleste virksomheder undervurderer.
Den ærlige tommelfingerregel: Hvis dit forbrug er lille, uforudsigeligt eller stadig på forsøgsstadiet, er API'et billigst. Hvis det er stabilt, stort og en fast del af den daglige drift, tjener egen hardware som regel sig selv hjem inden for et til tre år. Find ud af, hvad din reelle månedlige mængde er, før du skriver under på noget. De fleste virksomheder gætter forkert, både for højt og for lavt.
Kontrol: hvem bestemmer, hvornår tingene ændrer sig
En udbyder kan udfase den model, du er afhængig af, ændre den måde, den opfører sig på, hæve priserne eller begrænse din adgang i en travl uge. De giver som regel besked. De spørger ikke om lov. Hvis en arbejdsgang er tilpasset én bestemt models særheder, kan en tvungen opgradering få den til at gå i stykker uden varsel, og du opdager det først, når resultaterne begynder at se forkerte ud.
På din egen hardware er den model, du har testet, også den model, du kører, så længe du vil. Du bestemmer, hvornår der skal opgraderes, og du kan teste den nye version op mod den gamle først. Den stabilitet betyder mest for processer, der fodrer kontrakter, compliance-rapporter eller andet, som en tilsynsmyndighed kunne bede dig om at forklare.
Prisen for den kontrol er ansvar. Når serveren går ned klokken tre om natten, er der ikke en andens vagthavende tekniker, der tager telefonen.
Privatliv: læs kontrakten, og kortlæg så dine data
De store API-udbydere tilbyder erhvervsvilkår, der udelukker dine data fra modeltræning, og mange tilbyder, at data opbevares i en bestemt region. For mange virksomheder er det nok. Men "bruges ikke til træning" er ikke det samme som "forlader aldrig bygningen". Dine data krydser stadig et netværk, ligger kortvarigt på en andens infrastruktur og er underlagt deres opbevaringspolitik og jurisdiktion.
For nogle data er det fint. For klienters juridiske sager, patientjournaler, ikke-offentliggjorte regnskabstal eller personoplysninger under strenge nationale regler er det måske ikke, uanset hvad kontrakten siger. Egen hardware fjerner spørgsmålet. Der er ingen overførsel at oplyse om og ingen tredjepart at revidere.
De spørgsmål, der afgør det
Før du vælger, skal du have klare svar på disse:
- Mængde: Hvor mange forespørgsler om måneden i dag, og om et år, hvis projektet lykkes?
- Datafølsomhed: Hvilke af dine data må juridisk og kontraktmæssigt forlade dine systemer?
- Behov for kapacitet: Kræver opgaven den stærkeste model på markedet, eller kan en god åben model klare den?
- Driftskapacitet: Hvem skal opdatere, overvåge og reparere hardwaren, og har de tiden til det?
- Tolerance over for ændringer: Hvad går i stykker, hvis modellen under dig ændrer sig uden varsel?
De fleste virksomheder ender med begge dele
Valget er sjældent alt eller intet. Et almindeligt og fornuftigt mønster er at køre følsomt, omfattende og forudsigeligt arbejde på egen hardware og sende lejlighedsvise, komplekse eller eksperimentelle opgaver til et API. Intern dokumentsøgning i fortrolige filer bliver i huset. En enkeltstående markedsanalyse går til den mest kapable model, du kan leje.
Start med API'et for at lære, hvad der virker, og for at måle det reelle forbrug. Flyt en arbejdsopgave over på egen hardware, når tallene og reglerne for dine data taler for det. Det er det tunge arbejde, vi udfører hos Hercules A: at dimensionere den fordeling og drive den interne del. Men ræsonnementet ovenfor holder, uanset hvem der gør arbejdet. Tag beslutningen ud fra din mængde, dine data og din kapacitet, ikke ud fra hvilken leverandør der sidst har talt med dig.