Por qué la fluidez de un modelo de lenguaje nunca es evidencia, y qué hacer al respecto.
Estaba probando un sistema que automatiza formularios oficiales de tasas para despachos. El flujo era sencillo: el modelo lee la documentación del expediente, extrae los datos y el sistema rellena el formulario. En una de las pruebas, el modelo devolvió un código de oficina tributaria impecable: el número de dígitos correcto, el formato correcto, coherente con el resto del expediente.
No existía.
El error no tenía ninguna de las señales que solemos asociar a un fallo. No había un campo vacío, ni un texto raro, ni una incoherencia evidente. Era exactamente lo que una persona esperaría ver. Un revisor cansado, con veinte expedientes delante, lo habría aprobado. El trámite se habría presentado y rechazado días después.
Esto es lo más importante que hay que entender de los modelos de lenguaje en tareas serias: fallan con la misma seguridad con la que aciertan. Un dato inventado no suena distinto de uno real. Por eso la revisión humana sola no basta: las personas detectan lo que parece raro, y estos errores no lo parecen.
Una regla aburrida: cada código de oficina se comprueba contra la lista oficial antes de avanzar. Si no está, el expediente se detiene y se marca. Nada de inteligencia artificial en ese paso; solo una comparación exacta contra la fuente de verdad.
El sistema completo sigue tres capas:
Si un dato tiene una fuente de verdad (una lista oficial, una base de datos, un cálculo), no le pidas al modelo que lo acierte: compruébalo. Reserva al modelo para lo que no se puede comprobar con una regla, como leer un documento desordenado, y a las personas para el juicio.
Ese sistema redujo entre un 75 y un 90 % el tiempo manual por trámite, con cero presentaciones incorrectas desde el lanzamiento. No porque el modelo sea perfecto, sino porque nunca se le pidió que lo fuera.
Si tienes un sistema de IA en producción y no sabes qué errores está cometiendo con total seguridad, una auditoría técnica es el primer paso para averiguarlo.