O problema da transferência de conhecimento: o que sua equipe deve assumir antes que os consultores partam

O que realmente significa ser dono de um sistema de IA

Ser dono de um sistema de IA não se resume à entrega de uma pasta com documentos no último dia. Envolve quatro capacidades práticas dentro da sua empresa:

• Operar o sistema: ter alguém capaz de verificar se ele está funcionando corretamente e ser notificado quando houver problemas.
• Modificar o sistema: ajustar regras, adicionar fontes de documentos ou atualizar prompts sem abrir um pedido de suporte.
• Avaliar o sistema: identificar saídas boas de ruins com base em evidências, não apenas impressões.
• Substituir o sistema: compreender as dependências, os custos de migração e quem mais poderia realizar o trabalho.

A maioria das transferências de propriedade entrega apenas a primeira capacidade e ignora as outras três, o que leva ao desgaste dos sistemas.

A documentação relevante

A documentação é escrita para cumprir uma cláusula contratual, descrevendo assim uma arquitetura que ninguém irá tocar e omitindo as coisas de que as pessoas realmente precisam. Mantenha a lista curta e exija:

• Um guia de execução em caso de falhas: os cinco problemas mais prováveis, como cada um se apresenta do lado de fora e os três primeiros passos para resolvê-los. Escrito para a pessoa de plantão, não para um engenheiro.
• Um conjunto de avaliação: entre 100 e 200 casos reais com as respostas corretas, acordadas pelas pessoas que realizam o trabalho. Este é o artefato mais valioso do projeto inteiro.
• Um log de mudanças com justificativas: não apenas o que foi configurado, mas por que uma regra existe. Regras sem justificativas serão excluídas pelo próximo responsável.
• Uma planilha de dependências e custos: todos os modelos, APIs e fornecedores; o custo mensal de cada um; datas de renovação de contratos; o que quebra se eles desaparecerem.
• Um mapa de dados: onde os dados estão, quem pode acessá-los e por quanto tempo são retidos. Suas equipes legais e de segurança precisarão disso sem aviso prévio.

Tudo o mais é opcional. Se um documento não ajudar alguém a operar, modificar, avaliar ou substituir o sistema, ele é apenas enfeite.

As três pessoas que você precisa

Você não precisa contratar uma equipe de aprendizado de máquina. Precisa de três indivíduos nomeados, e isso deve ser feito antes do início do projeto, não durante o último mês.

• Um proprietário do negócio: responsável por decidir o que o sistema deve fazer e manter o orçamento. Aprova mudanças e nega expansões de escopo. Esta não é uma função técnica.
• Um guardião técnico: capaz de ler a configuração, fazer alterações controladas, testá-las e colocá-las em produção. Frequentemente um desenvolvedor existente ou um engenheiro de TI com capacidade reservada. Não precisa construir modelos; precisa ser capaz de modificar e implantar o que já existe.
• Um proprietário de qualidade: da área que o sistema atende - o principal manipulador de reivindicações, a enfermeira líder, o chefe de suporte. Eles mantêm o conjunto de avaliação e decidem o que significa "bom". Sem este papel, a qualidade se torna uma questão de opinião em questão de semanas.

O custo total interno: geralmente uma fração de um cargo integral para cada um, uma vez que o sistema esteja estável. O modo de falha não é o custo; é ninguém estar nomeado.

Teste a transferência enquanto ainda pode reclamar

Não aceite documentação como prova da transferência. Realize um teste ao vivo durante as últimas semanas do contrato, enquanto os consultores ainda estão sob contrato.

Escolha uma mudança real - adicione um novo produto à base de conhecimento, aperte uma regra sobre o que o sistema se recusa a responder ou troque uma tabela de preços atualizada. Peça à sua própria equipe para realizá-la, com os consultores presentes mas em silêncio. Cronometre. Em seguida, peça ao seu proprietário de qualidade para executar o conjunto de avaliação e confirmar nada mais tenha quebrado.

Se sua equipe completar isso em um dia, você é dono do sistema. Se levar uma semana e três perguntas, você identificou exatamente as lacunas a serem fechadas antes que as faturas terminem. Qualquer resultado é muito mais valioso do que um formulário de transferência assinado.

Inclua isso no contrato desde o início. Milestones de transferência, uma equipe receptora nomeada e um teste supervisionado de mudança são todos mais fáceis de negociar antes do trabalho começar do que depois.

É assim que construímos na Hercules A, e significa que nossos contratos terminam. E esse é o ponto. A medida de um bom projeto de IA não é a profundidade da imersão dos consultores um ano depois - é a confiança com que as pessoas da sua própria equipe mudem o sistema sem chamar ninguém.