Ir al contenido

Un RAG no se "ve bien" por intuición: hay que medirlo en dos frentes: recuperación y generación.

Evaluación de calidad RAG
Esquema de «Evaluación de calidad RAG»: Calidad de recuperación · Calidad de generación

Calidad de recuperación

  • Recall: de los chunks relevantes, ¿cuántos recuperó?
  • Precisión: de lo recuperado, ¿cuánto era realmente relevante?
  • MRR / nDCG: ¿el chunk correcto quedó arriba en el ranking?

Calidad de generación

  • Fidelidad (faithfulness): ¿la respuesta se apoya en el contexto o alucina?
  • Relevancia de respuesta: ¿contesta lo que preguntó?
  • Cobertura: ¿incluye todo lo importante del contexto?
PRÁCTICA

mantén un set de ~50 preguntas de prueba con respuestas esperadas y evalúa tras cada cambio de chunking o modelo.


Calificación
0 0

No hay comentarios por ahora.

para ser el primero en comentar.