O Bilhete Após a Construção: Quanto Custa Realmente Executar um Sistema de IA?

A fatura que raramente é apresentada

A maioria dos orçamentos de IA para no lançamento. A proposta deve cobrir descoberta, construção, integração e uma data de "viva". Depois disso, o sistema funciona por dois anos, mas ninguém registra os custos desses dois anos. Aqui está o que realmente aparece na fatura:

A conta modelo: a parte que você pode calcular

As taxas do modelo são cobradas por token - aproximadamente por palavra de entrada e saída. Isso as torna previsíveis se você fizer a aritmética uma vez.

Imagine um assistente de suporte interno gerenciando 8.000 conversas por mês, com seis turnos cada. São 48.000 chamadas para o modelo, carregando suas instruções, documentos recuperados e o contexto da conversa até então - cerca de 5.000 tokens de entrada - e retornando aproximadamente 400 tokens de saída. Você está comprando 240 milhões de tokens de entrada e 19 milhões de tokens de saída por mês. A um preço médio do modelo, isso custa cerca de US$ 1.000 por mês, e o cache de prompts nas instruções repetidas pode reduzir significativamente esse custo.

Duas coisas surpreendem as pessoas: primeiro, a entrada domina: você paga por tudo que envia, em cada turno, e o contexto longo é o principal fator de controle do custo. Segundo, os retrabalhos, avaliações e testes internos adicionam 15-30% ao tráfego da produção. Orçamente o valor bruto, não o limpo.

As taxas do modelo por token caíram consistentemente. O gasto total geralmente aumenta de qualquer forma, pois o uso cresce e modelos mais novos são utilizados para tarefas mais difíceis. Planeje para o volume, não para as taxas.

As contas que ninguém incluiu na proposta

As taxas do modelo raramente são a maior linha. O resto dos custos operacionais é trabalho comum necessário para os sistemas de IA:

• Revisão humana: Alguém lê uma amostra dos resultados reais toda semana e decide se a qualidade é mantida. Para um sistema de atendimento ao cliente, considere algumas horas por semana, permanentemente.
• Infraestrutura em torno do modelo: Índices de pesquisa, lojas de vetores, registro e o pipeline que mantém seus documentos atualizados. Modesta individualmente, constante no total.
• Trabalho de mudança: Novos produtos, novas políticas, novos casos limites que o sistema lida mal. Espere um pequeno fluxo constante de ajustes, em vez de lançamentos ocasionais grandes.
• Mudanças de fornecedor: Os modelos ficam obsoletos de acordo com cronogramas publicados. Migrar para um sucessor significa retestar tudo o que o antigo fez bem, tipicamente uma vez por ano.
• Conformidade e registros: Retenção, controle de acesso e a trilha de auditoria que prova o que o sistema disse a um cliente em março.

O item "drift" que surpreende as pessoas

O software falha alto. Os sistemas de IA degradam silenciosamente e ficam confiantes durante todo o processo.

Primeiro, seu negócio deriva. Preços mudam, um produto é aposentado, uma política é reescrita. O sistema continua respondendo da versão que lhe foi dada, fluentemente e incorretamente, até alguém notar.

Em seguida, seus usuários derivam. Uma vez que as pessoas aprendem o que o sistema lida, elas avançam para territórios adjacentes que nunca foram escopados. Tráfego que parecia responder a perguntas frequentes se transforma na interpretação de contratos, e a precisão medida no lançamento já não descreve o que está acontecendo.

Seu conteúdo também deriva. A recuperação que funcionava com 400 documentos fica mais vaga com 4.000, pois mais correspondências próximas empurram a resposta certa para fora dos resultados.

Nenhum disso aciona um alerta. Aparece meses depois como escalonamentos crescentes, uso caindo ou uma reclamação de um cliente que agiu com base no que o sistema disse. Na época, a correção custa mais do que o monitoramento teria.

A defesa é simples e barata: amostre 50 a 100 interações reais por mês, avalie-as contra o que um bom funcionário diria e acompanhe a pontuação ao longo do tempo. Uma pessoa, meia hora por mês. Essa única prática pega quase todos os modos de falha acima enquanto eles ainda são pequenos.

Um orçamento que sobrevive ao contato com a realidade

Planeje o custo anual de execução entre 30-50% do custo de construção dos primeiros dois anos. Abaixo de 20%, o sistema está sendo negligenciado e a curva de qualidade mostrará isso. Acima de 60%, ou a construção deixou muito inacabado, ou o caso de uso é mais volátil do que parecia.

Divida esse número em três buckets: uso (taxas do modelo e infraestrutura, escalonando com o volume), custódia (revisão, monitoramento, registros - aproximadamente fixo) e mudança (adaptando-se ao seu negócio e à rota de mapa do fornecedor). Os buckets se comportam de forma diferente, então uma única figura média enganará você na primeira vez que o volume dobra.

Em seguida, nomeie um proprietário. Um sistema de IA sem um proprietário nomeado e uma linha orçamentária dedicada não será mantido; ele será tolerado até ser abandonado silenciosamente. Esse é o verdadeiro custo de pular esse exercício - não o excesso de gastos, mas pagar pela construção duas vezes.

Trabalhe a taxa de execução antes da construção, não depois. O número frequentemente muda o que você decide construir, que é exatamente para isso. É a primeira cálculo que fazemos com um cliente e, ocasionalmente, é o motivo recomendamos um sistema menor do que o que eles chegaram pedindo.