Mostre-me onde está escrito: Pesquisa interna que responde com recibos
Como construir um assistente interno que responde perguntas a partir de seus próprios documentos e fornece links para a fonte exata, e o que realmente faz com que ele funcione.
A citação é o produto
Um assistente que responde sem fonte move seu trabalho, não o elimina. Você ainda precisa verificar, e verificar significa encontrar o documento por conta própria, o que era o que você tentava evitar. Com um link para a cláusula, a página e a versão, a verificação leva quatro segundos e você segue em frente.
Existe uma segunda razão, e ela é mais importante ao longo do tempo. Uma resposta não citada é iraudível. Quando estiver errada, você não conseguirá dizer se o documento fonte estava incorreto, desatualizado ou corretamente lido e mal resumido. Cada um desses tem uma correção diferente e um proprietário diferente. As citações transformam uma queixa vaga sobre a IA em um bilhete específico e resolvível.
O que está por trás, sem o jargão
Três partes: uma cópia dos seus documentos, dividida em passagens; um passo de recuperação que puxa as poucas passagens mais prováveis de conter a resposta; um modelo que escreve a resposta usando apenas essas passagens e nomeia-as.
O modelo não é treinado nos seus dados e não os memoriza. Ele lê o que a recuperação lhe entrega, assim como um novo analista lê o arquivo que você coloca na sua mesa. Mudar um documento hoje e a resposta de amanhã mudará com ele. Remover o acesso de alguém limitará as respostas dele de acordo.
A indústria chama isso de geração aumentada pela recuperação. O que você precisa tirar desse termo é comercial, não técnico: a parte cara do projeto não é o modelo. É o seu documento.
O trabalho está nos documentos
A maior parte desses projetos tem sucesso ou falha no corpus, antes que alguém escreva um prompt. O trabalho recorrente parece assim:
- Escolha um corpus limitado. Um departamento, um propósito. "Toda a SharePoint" não é um corpus, é um aterro.
- Configure as permissões primeiro, na recuperação. Se uma pessoa não puder abrir o arquivo, o assistente não deve citá-lo. Adaptar isso depois é doloroso e, até que você faça, o sistema é um vazamento.
- Resolva duplicatas. Seis modelos de contrato quase idênticos produzirão seis respostas quase idênticas, e o assistente não tem como saber qual a versão oficial usada pela RH. Marque a versão autorizada.
- Trate dos formatos que resistem: PDFs escaneados precisam de OCR, planilhas e slides perdem seu significado quando achatados em texto, e fios de email são na maioria do tempo ruído.
- Atribua um proprietário e uma data de revisão a cada documento. Um assistente com citações torna o conteúdo desatualizado visível, às vezes de forma desconfortável.
Onde isso não ajudará
Perguntas que exigem contagem ou comparação em todo o arquivo. "Quantos contratos renovam no 3º trimestre" é uma pergunta de banco de dados vestindo roupas de busca, e a recuperação responderá com confiança e erradamente. Da mesma forma para "qual é nossa exposição total a esse fornecedor". Redirecione essas perguntas para relatórios.
Também não pode responder ao que ninguém anotou. Se a regra de precificação vive na cabeça de uma pessoa, a saída honesta é que não há fonte. Um sistema que diz que não sabe está funcionando corretamente, e você deve projetar essa resposta em vez de penalizar ela.
Meça o terceiro número
Pegue de 50 a 100 perguntas reais das pessoas que usarão a ferramenta. Não inventadas. Depois, meça três porcentagens: respondidas com citação correta, recusadas por falta de fonte e respondidas com confiança, mas erradamente.
O terceiro número é o único que decide se o sistema será usado. Uma resposta fabricada com um link que não apoia ela custará mais confiança do que vinte respostas úteis ganharão. Empurre-o para zero, mesmo que isso signifique que o assistente recuse com mais frequência do que você gostaria inicialmente.
Comece com uma prateleira, não com a biblioteca
Escolha uma equipe com um conjunto claro de documentos e uma pergunta que eles fazem semanalmente. Oito semanas são suficientes para ter algo real nas mãos, incluindo o trabalho de permissões. Expanda apenas quando essa equipe objecionar à perda dela.
Construímos esses sistemas para empresas de porte médio, e o padrão se mantém: o estreito que cita suas fontes é usado diariamente, e o ambicioso que responde a tudo é silenciosamente abandonado até março.