IA aplicada: cuándo un piloto está listo para producción

Trabajamos el diseño del marco de evaluación de un agente conversacional de call center antes de su paso a producción — uno de los casos que detallamos en la sección de trayectoria de este sitio. El aprendizaje central de ese trabajo no fue técnico, fue de proceso: el piloto ya funcionaba razonablemente bien en las demos. El problema era que nadie había definido qué significaba 'funcionar bien' de una forma que se pudiera medir de manera consistente, caso a caso.

Eso es lo que suele frenar a un piloto de IA antes de llegar a producción, más que cualquier limitación del modelo: la ausencia de un criterio de aceptación explícito. Sin eso, cada demo exitosa se siente como una señal de que ya se puede avanzar, y cada falla se trata como una excepción — hasta que las excepciones se acumulan en producción, donde ya cuestan mucho más caras.

Un criterio mínimo razonable cubre cuatro preguntas, en este orden.

Precisión: ¿en qué porcentaje de casos representativos — no los cinco ejemplos elegidos para la demo — el sistema entrega la respuesta correcta o la acción correcta? Esto exige un set de prueba real, idealmente construido con casos históricos, no inventado sobre la marcha.

Sesgo: ¿el sistema se comporta distinto frente a variaciones que no deberían importar — forma de escribir, acento, dialecto regional? Para un canal de atención a clientes, esto no es un detalle: es directamente el problema.

Interpretabilidad: cuando el sistema se equivoca, ¿el equipo de negocio puede entender por qué, sin depender de quien construyó el modelo? Si la única explicación posible es "así lo decidió el modelo", ese sistema todavía no está listo para tomar decisiones sin supervisión.

Cumplimiento: ¿el comportamiento del sistema respeta la normativa aplicable a la industria — protección de datos, trazabilidad, en algunos casos regulación sectorial específica? Esta pregunta suele llegar tarde, cuando ya debería haber estado presente desde el diseño del piloto.

Ninguna de estas cuatro preguntas exige un equipo de investigación en IA. Exige decidir, antes de empezar, qué evidencia va a convencerte de que el sistema está listo — y tener esa vara lista antes de la primera demo, no después.