La demo siempre funciona: Cómo distinguir un sistema de IA real de uno ensayado
Preguntas prácticas para hacerle a un proveedor de IA que revelen si su demostración refleja un sistema operativo funcional o una ruta cuidadosamente montada a través de uno.
Trae tu propia entrada
La cosa más útil que puedes hacer en una reunión con un proveedor es tomar el teclado. Entrega al sistema un documento de tu propio negocio: un contrato desordenado, un hilo de soporte con tres personas hablando encima de la otra, una factura del peor formateo de tu proveedor. Pídele que lo ejecute en vivo, sin preparación.
Observa los cambios. El tiempo de respuesta, las evasivas, el formato, la confianza de la respuesta. Un sistema que mantiene su forma ante una entrada que nadie preparó ha enfrentado al menos una vez el mundo real.
Si el proveedor se niega, pregúntale por qué. "Tus datos no están cargados en el sandbox" es una respuesta justa. Acepta y luego pon la prueba por escrito como condición antes de firmar, con tus archivos y tu definición de un paso exitoso.
Pregunta qué pasa cuando está equivocado
Ignora por un momento el porcentaje de precisión y pregunta sobre el resto. Si el sistema acierta el 92% del tiempo, ¿qué se ve en el 8% restante desde la perspectiva del usuario? Solo hay tres opciones: dice que no sabe, lo escala a una persona o produce una respuesta segura pero incorrecta.
Los sistemas que fallan ruidosamente son baratos de operar. Los sistemas que fallan silenciosamente son caros, porque el costo recae en el cliente que actúa sobre información errónea y en el empleado que pasa una semana deshaciendo el enredo.
Luego, pide ver un caso en el que el sistema se negó a responder. Los equipos con un producto funcional suelen mostrar estos casos con orgullo, porque la moderación es lo difícil de construir.
Pregunta de dónde viene la respuesta
Cualquier cosa que toque tu material propio -políticas, precios, contratos, especificaciones de productos- debe citar su fuente. Pide una cita y luego abre el documento. La pregunta no es si apareció un enlace. Es si el documento citado dice realmente lo que afirma la respuesta.
Haz esto dos veces. Dos verificaciones te dicen más sobre un sistema que una hora de diapositivas.
Pregunta sobre el día después de que los datos cambien
Las demostraciones se ejecutan en una instantánea congelada. Tu negocio no está congelado. Estas preguntas separan un producto de un prototipo:
- ¿Cómo entra la nueva o corregida información, con qué frecuencia y quién es responsable?
- Cuando un documento se elimina o reemplaza, ¿cuánto tiempo tarda el sistema en dejar de usarlo?
- ¿El sistema respeta tus permisos existentes, o todos reciben las mismas respuestas independientemente del rol?
- Cuando el modelo subyacente cambia, ¿puedes probar antes de que llegue a tus usuarios?
- ¿Quién está disponible cuando se rompe a las nueve de la noche del lunes y cuál es el tiempo de respuesta?
Las respuestas vagas aquí son la señal más fuerte que recibirás durante toda la reunión. Un equipo que ha ejecutado algo en producción ha vivido todas estas cinco situaciones.
Pide números que cuestan producir
Los porcentajes en una diapositiva son gratuitos. Pregunta por números con forma: ¿cuántos usuarios, durante cuántos meses, medido contra qué base, y quién lo midió? "Resuelve el 60% de los boletos de primer nivel" significa poco hasta que sepas qué hace el otro 40% costoso redirigir, y si esa cifra proviene de un piloto con diez personas o un año con mil.
Los buenos proveedores responden con especificidades y reservas. Alguien que ha lanzado un sistema real conoce exactamente dónde se estira y lo dice sin ser presionado.
Pregunta qué no puede hacer
Pide al proveedor que describa los casos de uso en los que su sistema es una mala opción. Un equipo confiado tiene esta respuesta lista y suele ser precisa: documentos largos en formato escaneado, idiomas fuera de su conjunto de evaluación, cualquier cosa que requiera un juicio con exposición legal.
Un equipo que dice manejar todo te está diciendo que no ha ejecutado aún el sistema lo suficientemente duro para encontrar los bordes. Los encontrarás en cambio, después de firmar el contrato.
La última pregunta
Antes de irte, pregunta por ver qué ve un cliente real un martes ordinario. No la demo: el panel de control, los registros, la cola de casos escalados, el informe que alguien lee el viernes por la mañana. Los sistemas reales acumulan esta mobiliaria poco glamurosa porque alguien tuvo que operarlos. Una demostración ensayada no tiene un martes.