La demostración siempre funciona: Cómo distinguir un sistema de IA real de uno ensayado
Preguntas prácticas para hacerle a un proveedor de IA que revelen si su demostración refleja un sistema operativo funcional o una ruta cuidadosamente montada a través del mismo.
Trae tu propia entrada
La cosa más útil que puedes hacer en una reunión con un proveedor es tomar el teclado. Entrega al sistema un documento de tu propio negocio: un contrato desordenado, un hilo de soporte con tres personas hablando encima de las demás, una factura del peor formateo de tus proveedores. Pídele que lo procese en vivo, sin preparación.
Observa los cambios. El tiempo de respuesta, la elusión, el formato, la confianza de la respuesta. Un sistema que mantiene su forma ante una entrada no preparada ha enfrentado al menos una vez el mundo real.
Si el proveedor se niega, pregúntale por qué. "Tus datos no están cargados en el entorno de prueba" es una respuesta justa. Acepta y luego formaliza la prueba por escrito como condición antes de firmar, con tus archivos y tu definición de un éxito.
Pregunta qué pasa cuando está equivocado
Ignora durante un momento el porcentaje de precisión y pregunta sobre el resto. Si el sistema acierta el 92% del tiempo, ¿qué aspecto tiene el 8% restante desde la perspectiva del usuario? Solo hay tres opciones: dice que no sabe, lo escala a una persona o produce una respuesta segura pero incorrecta.
Los sistemas que fallan ruidosamente son baratos de ejecutar. Los sistemas que fallan en silencio son caros, porque el coste recae sobre el cliente que actúa con información errónea y el empleado que pasa una semana desenredando todo.
Luego, pide ver un caso en el que el sistema se negó a responder. Los equipos con un producto funcional suelen mostrar estos casos con cierto orgullo, porque la moderación es lo más difícil de construir.
Pregunta de dónde proviene la respuesta
Cualquier cosa que toque tu material propio -políticas, precios, contratos, especificaciones del producto- debe citar su fuente. Pide una cita y luego abre el documento. La pregunta no es si apareció un enlace. Lo importante es si el documento citado dice realmente lo que afirma la respuesta.
Haz esto dos veces. Dos comprobaciones te dirán más sobre un sistema que una hora de diapositivas.
Pregunta sobre el día después de que los datos cambien
Las demostraciones se ejecutan con una instantánea congelada. Tu negocio no está congelado. Estas preguntas separan un producto de un prototipo:
- ¿Cómo entra la nueva o corregida información, con qué frecuencia y quién es responsable?
- Cuando un documento se elimina o sustituye, ¿cuánto tiempo tarda el sistema en dejar de usarlo?
- ¿El sistema respeta tus permisos existentes, o todos reciben las mismas respuestas independientemente del rol?
- Cuando el modelo subyacente cambia, ¿puedes probarlo antes de que llegue a tus usuarios?
- ¿Quién está disponible cuando se rompe a las nueve de la mañana de un lunes, y cuál es el tiempo de respuesta?
Las respuestas vagas en este punto son la señal más fuerte que recibirás durante toda la reunión. Un equipo que ha ejecutado algo en producción ha vivido todas estas cinco situaciones.
Pide números que cuestan algo producir
Los porcentajes en una diapositiva son gratuitos. Pregunta por números con forma: ¿cuántos usuarios, durante cuántos meses, medido contra qué referencia, y quién lo midió? "Resuelve el 60% de los tickets de primer nivel" significa poco hasta que sepas qué cuesta redirigir el 40% restante, y si esa cifra proviene de un piloto con diez personas o de un año con mil.
Los buenos proveedores responden con especificidades y matices. Alguien que ha lanzado un sistema real conoce exactamente dónde le cuesta y lo dice sin ser presionado.
Pregunta qué no puede hacer
Pide al proveedor que describa los casos de uso en los que su sistema es una mala adaptación. Un equipo seguro tiene esta respuesta lista y suele ser precisa: documentos largos en formato escaneado, idiomas fuera de su conjunto de evaluación, cualquier cosa que requiera un juicio con exposición legal.
Un equipo que afirma manejar todo te está diciendo que no ha ejecutado aún el sistema lo suficientemente duro como para encontrar los límites. Los encontrarás en su lugar después de firmar el contrato.
La última pregunta
Antes de irte, pide ver qué ve un cliente real un martes cualquiera. No la demostración: el panel, los registros, la cola de casos escalados, el informe que alguien lee el viernes por la mañana. Los sistemas reales acumulan esta infraestructura poco glamorosa porque alguien tuvo que operarlos. Una demostración ensayada no tiene un martes.