Cómo medir si un proyecto de IA realmente funcionó

Definir el éxito antes de escribir el código

Un proyecto de inteligencia artificial (IA) tiene éxito cuando modifica un número de negocio que ya te importa. No se trata de precisión, calidad de respuesta o "adopción" en abstracto, sino de un número: horas de trabajo manual eliminadas, días recortados de un proceso, tasas de error en las facturas, coste por ticket manejado, ingresos por representante.

Anota ese número y la meta antes de que comience el proyecto. "El sistema debería reducir el tiempo de preparación de cotizaciones de tres días a uno" es una afirmación verificable. "El sistema mejorará la eficiencia" es una afirmación con la que solo puedes estar de acuerdo. Si el equipo no puede nombrar el número que debe alcanzar el proyecto, este no está listo para financiarse.

Medir la línea base primero

No se puede demostrar la mejora sin registrar una línea base. Antes de que el sistema entre en funcionamiento, dedica una semana o dos a capturar cómo funciona el proceso hoy: cuánto tiempo tardan las tareas, con qué frecuencia fallan, cuánto cuestan, quién las maneja. Este es un trabajo poco glamoroso y la única etapa que se omite con más frecuencia en la adopción de IA.

La línea base no necesita ser perfecta. Diez ejemplos cronometrados del proceso actual superan a cero. Sin ellos, cualquier conversación posterior sobre valor se convierte en una opinión contra otra.

Juzgar los resultados, no el rendimiento del modelo

Los equipos técnicos informarán de métricas técnicas: precisión, latencia, puntuaciones de referencia. Estas son importantes para ellos y no deberían serlo tanto para ti. Un modelo puede ser preciso al 95% y aún así fracasar como proyecto porque el 5% de errores afecta a tus clientes más importantes, o porque el personal deja de usarlo en marzo.

Las métricas que debes revisar a nivel directivo pertenecen a cuatro grupos:

• Salida: ¿el trabajo es claramente más rápido, más barato o mejor que la línea base?
• Adopción: ¿qué porcentaje del trabajo elegible pasa realmente a través del sistema y si ese porcentaje está creciendo o disminuyendo?
• Excepciones: ¿con qué frecuencia un humano tiene que intervenir, corregir o anular —y si esos casos son cada vez más raros?
• Confianza: ¿las personas que lo usan se opondrían a perderlo?

La cifra de adopción merece especial atención. Un sistema utilizado para el 8% de los casos elegibles no ha funcionado, independientemente de su precisión. La caída en el uso es la señal más honesta de que algo está mal y aparece mucho antes de que alguien presente una queja.

Contar todo el coste

El coste de construcción es lo visible. El total real incluye las piezas continuas: costes de suscripción y computación, tiempo dedicado por el personal a revisar las salidas, mantenimiento cuando un proveedor cambia una API o el proceso en torno al cual se construyó el sistema. Un proyecto que ahorra veinte horas semanales pero consume diez en revisión y mantenimiento tiene un retorno real la mitad del oficial.

Programa una revisión a los tres y seis meses después del lanzamiento y compara el coste total de funcionamiento con la ganancia medida. Muchos proyectos que parecían marginales al inicio son claramente positivos a los seis meses; algunos que demostraron brillantemente en la presentación son claramente negativos. Quieres saber cuál es tu caso mientras haya tiempo para arreglarlo o detenerlo.

Prevenir el deterioro

Un sistema de IA no es un puente; no permanece construido. Los datos cambian, el negocio cambia, los modelos detrás de una API cambian sin previo aviso. Un sistema que funcionaba en enero puede desvanecerse silenciosamente para julio y, porque las salidas aún parecen plausibles, nadie se da cuenta hasta que un cliente lo haga.

La solución es ligera: mantener un conjunto pequeño de casos conocidos con respuestas correctas conocidas y ejecutarlos a través del sistema mensualmente. Si los resultados cambian, te enterarás de tus propios controles en lugar de a través del mercado. Asigna esta tarea a una persona concreta. El deterioro que nadie detecta no será detectado.

La prueba de una página

Si un proyecto de IA ha tenido éxito, deberías poder resumirlo en una página: la línea base, la meta, el resultado medido, el coste total y la tendencia desde el lanzamiento. Si no puedes escribir esta página, la conclusión honesta no es que el proyecto haya fracasado —es que nadie puede decirlo, lo cual equivale a lo mismo para el negocio.

Esta disciplina de medición es más pesada de lo que esperan la mayoría de los equipos, y es precisamente el peso que vale la pena llevar —es lo que diferencia la IA que demuestra bien de la que paga. También es parte de la adopción que Hercules A construye desde el principio, por lo que la pregunta "¿funcionó?" siempre tendrá una respuesta numérica.