O seu AI precisa de um gravador de voo, e você o constrói no primeiro dia.

Quando um sistema de IA atinge a produção, a primeira pergunta difícil nunca é como ele funciona. É por que ele disse isso. Um cliente contesta uma cotação. Um auditor pergunta como foi tomada uma decisão. Alguém na sua equipe percebe que os resumos pioraram este mês e não consegue dizer quando começou.

Nesse momento, ou você tem o registro ou não o tem, e não conseguirá reconstruí-lo depois. Refazer a mesma pergunta hoje fornece a resposta de hoje do modelo de hoje, o prompt de hoje e os dados de hoje. Isso não é evidência de nada.

O registro é uma decisão do dia um. Adicionado mais tarde, ele cobre apenas o que acontece em seguida.

As seis coisas que produzem uma resposta

Uma resposta de IA é o produto de um pequeno conjunto de entradas. Capture todas elas, em cada chamada, desde a primeira solicitação:

• A solicitação - um ID único, uma data e hora, quem ou qual sistema fez a pergunta e o texto ou dados exatos submetidos.
• O contexto - todos os documentos, registros ou linhas que o sistema recuperou e colocou na frente do modelo, identificados individualmente, com a versão de cada um.
• As instruções - o modelo de prompt mais qualquer coisa montada em tempo real, e a versão do modelo.
• O modelo - o identificador exato do modelo, não apenas a família, juntamente com as configurações usadas: temperatura, limites de tokens, quais ferramentas ele poderia chamar.
• A saída - a resposta bruta antes de qualquer limpeza, e a versão processada se as duas forem diferentes.
• A consequência - o que aconteceu em seguida: mostrado a um usuário, enviado por e-mail a um cliente, usado para aprovar uma reclamação, e se uma pessoa aceitou, editou ou rejeitou isso.

Sem o contexto e as instruções, você fica com metade da conversa. Você pode ver o que o sistema respondeu e nunca estabelecer por que essa resposta foi razoável.

As versões são a parte que todos esquecem

Três coisas mudam sob um sistema de IA sem que alguém abra um pedido de mudança. Alguém edita um prompt numa terça-feira à tarde. O fornecedor atualiza o modelo atrás do mesmo nome de API. A base de conhecimento é reindexada e o sistema começa a recuperar diferentes documentos para a mesma pergunta.

Cada uma dessas pode afetar a qualidade, e nenhuma delas aparece no registro de saída. Registre um identificador de versão para o prompt, o modelo e o índice de dados em cada chamada, e a pergunta "o que mudou entre a boa semana e a má semana" leva minutos para responder. Sem elas, leva uma semana de adivinhação, geralmente enquanto alguém sênior espera.

Correções humanas são o seu melhor sinal

Quando uma pessoa edita um rascunho de IA antes de enviá-lo, ela contou exatamente o que estava errado, nas termos mais específicos disponíveis. Armazene a versão original ao lado da editada.

Faça isso e duas coisas acontecem. A taxa de edição se torna uma medida de qualidade que você pode registrar semanalmente, e ela avança antes das reclamações. E as correções acumulam-se em um conjunto de exemplos que você pode usar para melhorar o sistema, construído com o seu próprio trabalho em vez de comprado ou inventado.

O desgaste é uma comparação, não um alarme

Nada notificará que as saídas pioraram. A degradação é gradual e cada resposta individual parece plausível.

O método prático é manter um conjunto fixo de solicitações reais - cem são suficientes, retiradas do tráfego real e cobrindo seus casos mais estranhos - e executá-las novamente a cada mês. Compare as novas respostas com as armazenadas. Onde elas diferem, uma pessoa lê ambas e diz qual é melhor. Isso só funciona se você manteve os registros de entrada, que é o todo do argumento para registrá-los.

Junte isso aos números que você já tem: taxa de edição, taxa de rejeição, escalonamento para um humano, a porcentagem de respostas onde o sistema não encontrou documentos relevantes. Um aumento nesse último geralmente significa que seus dados estão estragados, não que seu modelo está.

Decida retenção e redação primeiro

Esses registros contêm tudo o que os clientes digitaram, o que significa que carregam as mesmas obrigações que qualquer outro dado pessoal. Classifique os campos conforme são escritos, mascar ou tokenize o que não precisa ser legível, e armazene os registros separadamente da aplicação para que uma falha em um não leve a registro do outro.

Estabeleça a retenção de forma deliberada. Para decisões com peso contratual ou regulatório, mantenha o registro pelo tempo da exposição, e faça esse repositório apenas-apend, para que ninguém possa alterar silenciosamente a história. Para tráfego rotineiro, mais curto é melhor e mais barato. Coloque o nome de uma pessoa na política.

O armazenamento é a parte barata. A parte cara é adaptar todo isso em um sistema ao vivo enquanto você já está sendo perguntado para explicar uma saída que não consegue justificar. Construímos esses registros desde o início, porque eles são o que transforma um sistema de IA de algo em que confiamos para algo que podemos demonstrar.