O Bilhete Após a Construção: Quanto Custa Realmente Executar um Sistema de IA?

A fatura que raramente é apresentada

A maioria dos orçamentos de IA para em sua implementação inicial. A proposta deve abranger a descoberta, construção, integração e uma data de lançamento. Depois disso, o sistema opera por dois anos, e ninguém registra os custos reais desses dois anos. Aqui está o que realmente aparece na fatura:

A fatura modelo: a parte que você pode calcular

As taxas do modelo são cobradas por token, aproximadamente por palavra de entrada e saída. Isso as torna previsíveis se você fizer uma conta simples.

Imagine um assistente de suporte interno gerenciando 8.000 conversas por mês, com seis turnos cada. Isso representa 48.000 chamadas ao modelo. Cada chamada inclui suas instruções, documentos recuperados e o contexto da conversa até então - cerca de 5.000 tokens de entrada - e retorna aproximadamente 400 tokens de saída. Você está comprando 240 milhões de tokens de entrada e 19 milhões de tokens de saída por mês. A um preço médio do modelo, isso custa cerca de US$ 1.000 por mês, e o cache de prompts nas instruções repetidas pode reduzir significativamente esse custo.

Duas coisas surpreendem as pessoas: primeiro, a entrada domina os custos; você paga por tudo que envia, em cada turno, e o contexto longo é o principal fator de controle dos custos. Segundo, retrabalhos, execuções de avaliação e testes internos adicionam 15-30% ao tráfego de produção. Orçamente o valor bruto, não o limpo.

As taxas do modelo por token caíram consistentemente. O gasto total geralmente aumenta de qualquer forma, pois o uso cresce e modelos mais novos são utilizados para tarefas mais desafiadoras. Planeje pelo volume, não pelas taxas.

As faturas que ninguém incluiu na proposta

As taxas do modelo raramente representam a maior linha da fatura. O restante dos custos operacionais é trabalho rotineiro necessário para os sistemas de IA:

Revisão humana: Alguém revisa uma amostra dos resultados reais semanalmente e decide se a qualidade é mantida. Para um sistema de atendimento ao cliente, considere algumas horas por semana, permanentemente.
Infraestrutura em torno do modelo: Índices de pesquisa, lojas de vetores, registro e o pipeline que mantém seus documentos atualizados. Modestas individualmente, constantes no total.
Trabalho de mudança: Novos produtos, novas políticas, novos casos de borda que o sistema lida mal. Espere um pequeno fluxo constante de ajustes em vez de lançamentos ocasionais grandes.
Mudanças de fornecedor: Os modelos ficam obsoletos de acordo com cronogramas publicados. Migrar para um sucessor significa retestar tudo o que o antigo modelo fazia bem, tipicamente uma vez por ano.
Conformidade e registros: Retenção, controle de acesso e o registro de auditoria que prova o que o sistema disse a um cliente em março.

O item de fatura que surpreende as pessoas

Os softwares falham de forma sonora. Os sistemas de IA degradam silenciosamente e permanecem confiantes durante todo o processo.

Primeiro, seu negócio deriva. Preços mudam, um produto é aposentado, uma política é reescrita. O sistema continua respondendo da versão que lhe foi dada, fluentemente e incorretamente, até alguém notar.

Em seguida, seus usuários derivam. Uma vez que as pessoas aprendem o que o sistema lida, elas avançam para territórios adjacentes que nunca foram escopados. Tráfego que parecia responder a perguntas frequentes se transforma na interpretação de contratos, e a precisão medida no lançamento não descreve mais o que está acontecendo.

Seu conteúdo também deriva. A recuperação que funcionava com 400 documentos fica mais vaga com 4.000, pois mais correspondências próximas empurram a resposta certa para fora dos resultados.

Nenhum desses gatilhos uma alerta. Isso aparece meses depois como escalonamentos crescentes, uso caindo ou uma reclamação de um cliente que agiu com base no que o sistema disse. Na época, a correção custa mais do que o monitoramento teria custado.

A defesa é simples e barata: amostre 50 a 100 interações reais por mês, avalie-as contra o que um bom funcionário diria e acompanhe a pontuação ao longo do tempo. Uma única pessoa, meia hora por mês. Essa prática simples pega quase todos os modos de falha acima enquanto eles ainda são pequenos.

Um orçamento que sobrevive ao contato com a realidade

Planeje uma despesa anual de operação entre 30-50% do custo de construção dos primeiros dois anos. Abaixo de 20%, o sistema está sendo negligenciado e a curva de qualidade refletirá isso. Acima de 60%, ou a construção deixou muito a desejar, ou o caso de uso é mais volátil do que parecia.

Divida esse número em três categorias: uso (taxas do modelo e infraestrutura, escalonando com o volume), custódia (revisão, monitoramento, registros - aproximadamente fixo) e mudança (adaptando-se ao seu negócio e à rota de desenvolvimento do fornecedor). As categorias se comportam de forma diferente, então uma única figura média enganará você na primeira vez que o volume dobra.

Em seguida, nomeie um proprietário. Um sistema de IA sem um proprietário nomeado e uma linha orçamentária dedicada não será mantido; ele será tolerado até ser abandonado silenciosamente. Esse é o verdadeiro custo de pular esse exercício - não o excesso de gastos, mas pagar pela construção duas vezes.

Trabalhe a taxa de execução antes da construção, não depois. O número frequentemente muda o que você decide construir, que é exatamente para isso. É a primeira cálculo que fazemos com um cliente e, ocasionalmente, é a razão para recomendar um sistema menor do que o que eles chegaram pedindo.