Cómo saber si tu asistente de IA realmente funciona

Escritorio verde petróleo con un celular boca abajo, una hoja con casillas marcadas a lápiz, un lápiz rojo, una lupa y una taza de café.

Publicada originalmente en la Revista ANDA, edición noviembre-diciembre 2026. Escrita con Daniela Torrealba.

Muchas empresas ya saben construir un asistente de IA que luce impecable en una demo. Pocas saben medir si funciona bien cuando lo usan clientes reales. En esta columna explicamos cómo evaluarlo antes y después de lanzarlo.

Partimos por distinguir chatbots, asistentes con herramientas y agentes, y por una idea central: lo que se evalúa es el sistema completo, con sus instrucciones y herramientas, que en la jerga técnica se llama harness. Después comparamos los métodos de evaluación y nos detenemos en el de LLM como juez, donde otro modelo califica cada respuesta según una pauta escrita por el equipo.

Con el ejemplo de un retailer ficticio mostramos cómo una respuesta amable cumple solo dos de cinco criterios, porque recomienda un producto fuera de presupuesto e inventa un descuento de 20%. También revisamos cuatro creencias que conviene cuestionar, como que un modelo más grande siempre responde mejor.

Cerramos con cuatro preguntas para hacerle a tu proveedor o a tu equipo, desde con qué casos reales se probó el sistema hasta si alguien revisa a mano una muestra de las respuestas.

Ver la edición en la Revista ANDA