RAG en producción sobre normativa fiscal de EE. UU.
Un asistente que responde preguntas fiscales citando la fuente exacta, evaluado con números antes de ponerlo en producción.
El reto
Un cliente de compliance fiscal en Estados Unidos necesitaba respuestas fiables sobre más de 50 documentos del IRS. El lenguaje fiscal mezcla códigos exactos (formularios, secciones) con preguntas en lenguaje natural, y un error cuesta caro.
Cómo lo resolví
Golden dataset: 30 preguntas reales con la respuesta y el fragmento de origen anotados a mano.
Nueve configuraciones de recuperación comparadas cambiando una variable cada vez: búsqueda por palabras (BM25), por significado (embeddings), híbrida con fusión de rankings y reordenación con cross-encoder.
Métrica propia de exactitud de citas: comprueba que cada cita sustenta de verdad lo que se afirma.
Despliegue 100 % local con Docker, modelos locales y base vectorial propia.
Resultado
La configuración ganadora (híbrida con reordenación) encuentra el documento correcto entre los cinco primeros en el 98 % de las preguntas (Recall@5 = 0,98; MRR = 0,80). El cliente dejó una valoración de 5.0: “Eduardo was fantastic… very pleased with how things turned out.”
Un agente de IA con límites garantizados por códigoAgente LangGraph con herramientas de SQL, documentos y cálculo, solo lectura garantizada por un parser, trazas con Langfuse y 138 tests automatizados, incluidos adversariales.