Tu IA necesita un grabador de vuelo, y lo construyes el primer día.
Un puñado de registros que te permite explicar cualquier salida de IA meses después y detectar driftes de calidad antes de que lo haga un cliente.
Cuando un sistema de inteligencia artificial alcanza la producción, la primera pregunta difícil nunca es cómo funciona. Es por qué lo dijo. Un cliente impugna una cotización. Un auditor pregunta cómo se tomó una decisión. Alguien de tu equipo nota que los resúmenes empeoraron este mes y no puede decirte cuándo comenzó.
En ese momento, o tienes el registro o no lo tienes, y no puedes reconstruirlo después. Volver a hacer la misma pregunta hoy te da la respuesta de hoy del modelo actual, la plantilla de hoy y los datos de hoy. Eso no es evidencia de nada.
El registro es una decisión de primer día. Agregado más tarde, solo cubre lo que sucede a continuación.
Las seis cosas que generan una respuesta
Una respuesta de IA es el producto de un pequeño conjunto de entradas. Captura todas ellas en cada llamada, desde la primera solicitud:
- La solicitud: un ID único, una marca de tiempo, quién o qué sistema lo solicitó y el texto o datos exactos presentados.
- El contexto: todos los documentos, registros o filas que el sistema recuperó e hizo frente al modelo, identificados individualmente, con la versión de cada uno.
- Las instrucciones: la plantilla de prompt más cualquier ensamblaje en tiempo de ejecución, y la versión de la plantilla.
- El modelo: el identificador exacto del modelo, no el nombre familiar, junto con los ajustes utilizados: temperatura, límites de tokens, las herramientas que podría llamar.
- La salida: la respuesta cruda antes de cualquier limpieza, y la versión procesada si ambas difieren.
- La consecuencia: lo que sucedió a continuación: mostrado a un usuario, enviado por correo electrónico a un cliente, utilizado para aprobar una reclamación, y si una persona lo aceptó, lo editó o lo rechazó.
Deja el contexto y las instrucciones y te quedas con la mitad de la conversación. Puedes ver qué respondió el sistema y nunca establecer por qué esa respuesta fue razonable.
Las versiones son la parte que todos omiten
Tres cosas cambian bajo un sistema de IA sin que nadie presente una solicitud de cambio. Alguien edita una plantilla de prompt un martes por la tarde. El proveedor actualiza el modelo detrás del mismo nombre de API. La base de conocimientos se reindexa y el sistema comienza a recuperar diferentes documentos para la misma pregunta.
Cada uno de ellos puede afectar la calidad, y ninguno de ellos aparece en un registro de salida. Registra un identificador de versión para la plantilla, el modelo y el índice de datos en cada llamada, y la pregunta "¿qué cambió entre la buena semana y la mala semana?" se responde en minutos. Sin ellas, toma una semana de conjeturas, normalmente mientras alguien superior espera.
Las correcciones humanas son tu mejor señal
Cuando una persona edita un borrador de IA antes de enviarlo, ha dicho exactamente qué estaba mal, en los términos más específicos disponibles. Almacena la original junto con la editada.
Haz esto y dos cosas suceden. La tasa de edición se convierte en una medida de calidad que puedes graficar semanalmente, y avanza antes de las quejas. Y las correcciones se acumulan en un conjunto de ejemplos que puedes usar para mejorar el sistema, construido a partir de tu propio trabajo en lugar de comprado o inventado.
El desvío es una comparación, no una alarma
No habrá nada que te notifique que las salidas empeoraron. La degradación es gradual y cada respuesta individual parece plausible.
El método práctico es mantener un conjunto fijo de solicitudes reales -cien son suficientes, tomadas del tráfico real y cubriendo tus casos extraños- y volver a ejecutarlas cada mes. Compara las nuevas respuestas con las almacenadas. Donde difieran, una persona lee ambas y dice cuál es mejor. Esto solo funciona si has mantenido los registros de entrada, que es todo el argumento para registrarlos.
Combina eso con los números que ya tienes: tasa de edición, tasa de rechazo, escalamiento a un humano, la proporción de respuestas donde el sistema no encontró documentos relevantes. Un aumento en este último suele significar que tus datos están estancados, no que tu modelo lo esté.
Decide la retención y la redacción primero
Estos registros contienen todo lo que tus clientes escribieron, lo que significa que llevan las mismas obligaciones que cualquier otro dato personal. Clasifica los campos según se escriban, enmascara o tokeniza lo que no necesite ser legible, y almacena los registros por separado de la aplicación para que una falla en una no lleve el registro con ella.
Establece la retención deliberadamente. Para decisiones con peso contractual o regulatorio, conserva el registro durante tanto tiempo como dure la exposición, y haz que ese almacén sea solo de anexión para que nadie pueda revisar la historia más tarde. Para tráfico rutinario, lo corto es mejor y más barato. Pon el nombre de una persona contra la política.
El almacenamiento es lo barato. Lo caro es adaptar todo esto a un sistema en vivo mientras ya te están preguntando explicar una salida que no puedes justificar. Construimos estos registros desde el principio porque son lo que convierte un sistema de IA de algo en lo que confías a algo de lo que puedes demostrar.