Tu IA necesita un grabador de vuelo, y lo construyes el primer día.
El puñado de registros que te permite explicar cualquier salida de IA meses después y detectar driftes de calidad antes de que lo haga un cliente.
Cuando un sistema de IA llega a producción, la primera pregunta difícil nunca es cómo funciona.
Un cliente impugna una cotización. Un auditor pregunta cómo se tomó una decisión. Alguien de tu equipo nota que los resúmenes han empeorado este mes y no puede decirte cuándo comenzó.
En ese momento, o tienes el registro o no lo tienes, y no podrás reconstruirlo después. Volver a hacer la misma pregunta hoy te da la respuesta de hoy, del modelo actual, del prompt actual y los datos actuales. Eso no es evidencia de nada.
El registro es una decisión tomada desde el primer día. Agregado más tarde, solo cubre lo que sucede a continuación.
Las seis cosas que generan una respuesta
Una respuesta de IA es producto de un conjunto pequeño de entradas. Captura todas ellas en cada llamada, desde la primera:
- La solicitud: un ID único, una marca de tiempo, quién o qué sistema la hizo y el texto o los datos exactos enviados.
- El contexto: todos los documentos, registros o filas que el sistema recuperó e introdujo ante el modelo, identificados individualmente, con la versión de cada uno.
- Las instrucciones: el template del prompt más cualquier cosa ensamblada en tiempo de ejecución, y la versión del template.
- El modelo: el identificador exacto del modelo, no el nombre familiar, junto con los ajustes utilizados: temperatura, límites de tokens, las herramientas que podía llamar.
- La salida: la respuesta cruda antes de cualquier limpieza, y la versión procesada si ambas difieren.
- La consecuencia: lo que sucedió después: mostrada a un usuario, enviada por correo electrónico a un cliente, utilizada para aprobar una reclamación, y si una persona la aceptó, la editó o la rechazó.
Deja el contexto y las instrucciones y te quedas con la mitad de la conversación. Puedes ver qué respondió el sistema y nunca podrás establecer por qué esa respuesta era razonable.
Las versiones son la parte que todos omiten
Tres cosas cambian bajo un sistema de IA sin que nadie presente una solicitud de cambio. Alguien edita un prompt un martes por la tarde. El proveedor actualiza el modelo detrás del mismo nombre de API. La base de conocimientos se reindexa y el sistema comienza a recuperar diferentes documentos para la misma pregunta.
Cada uno de ellos puede afectar la calidad, y ninguno aparece en el registro de salida. Registra un identificador de versión para el prompt, el modelo y el índice de datos en cada llamada, y la pregunta "¿qué cambió entre la buena semana y la mala semana?" se responde en minutos. Sin ellos, toma una semana de conjeturas, normalmente mientras alguien senior espera.
Las correcciones humanas son tu mejor señal
Cuando una persona edita un borrador de IA antes de enviarlo, ha dicho exactamente qué estaba mal, en los términos más específicos disponibles. Almacena la original junto a la editada.
Haz esto y dos cosas suceden. La tasa de edición se convierte en una medida de calidad que puedes graficar semanalmente, y avanza antes de las quejas. Y las correcciones se acumulan en un conjunto de ejemplos que puedes usar para mejorar el sistema, construido con tu propio trabajo en lugar de comprarlo o inventarlo.
El desvío es una comparación, no una alarma
No habrá nada que te notifique que los resultados han empeorado. La degradación es gradual y cada respuesta individual parece plausible.
El método práctico es mantener un conjunto fijo de solicitudes reales -cien son suficientes, elegidas de tráfico real y cubriendo tus casos extraños- y repetirlas cada mes. Compara las nuevas respuestas con las almacenadas. Donde difieran, una persona lee ambas y dice cuál es mejor. Esto solo funciona si has mantenido los registros de entrada, que es todo el argumento a favor del registro de ellos.
Combina eso con los números que ya tienes: tasa de edición, tasa de rechazo, escalamiento a un humano, el porcentaje de respuestas donde el sistema no encontró documentos relevantes. Un aumento en este último suele significar que tus datos están estancados, no que tu modelo haya fallado.
Decide la retención y la redacción primero
Estos registros contienen todo lo que tus clientes escribieron, lo que significa que llevan las mismas obligaciones que cualquier otro dato personal. Clasifica los campos según se escriban, enmascara o tokeniza lo que no necesite ser legible, y almacena los registros por separado de la aplicación para que un fallo en uno no lleve consigo el registro de él.
Establece la retención deliberadamente. Para decisiones con peso contractual o regulatorio, conserva el registro durante tanto tiempo como dure la exposición, y haz que ese almacén sea solo de anexión para que nadie pueda revisar la historia silenciosamente. Para tráfico rutinario, lo corto es mejor y más barato. Pon el nombre de una persona contra la política.
El almacenamiento es lo barato. Lo caro es adaptar todo esto a un sistema en vivo mientras ya te están pidiendo que expliques una salida que no puedes justificar. Construimos estos registros desde el principio porque son lo que convierte un sistema de IA de algo en lo que confías a algo de lo que puedes demostrar.