Cómo diferenciar cobertura y precisión al evaluar un agente

Fija una unidad de evaluación

Elige si cuentas consultas, campos, documentos o clasificaciones. No mezcles el porcentaje de campos correctos con el porcentaje de consultas totalmente resueltas. Declara qué ocurre con respuestas parciales, abstenciones y fallos técnicos. Un indicador sin estas reglas puede mejorar simplemente porque cambiaste qué casos entran en el denominador. Conserva los recuentos además de los porcentajes para poder reconstruir cada resultado.

Distingue tres cocientes

Para atención, puedes definir cobertura operativa como consultas resueltas automáticamente entre consultas elegibles. La calidad de esas respuestas será respuestas correctas entre respuestas automáticas revisadas. En clasificación, la recuperación de positivos es verdaderos positivos entre todos los positivos reales, mientras la precisión divide verdaderos positivos entre todas las asignaciones positivas. Usa nombres completos en el informe para evitar que dos equipos empleen cobertura con significados incompatibles.

Comprueba el equilibrio con números

En un ejemplo hipotético, de cien consultas elegibles el agente responde cuarenta y treinta y ocho son correctas: la cobertura operativa es del cuarenta por ciento y la precisión de respuesta, con esa definición, del noventa y cinco por ciento. Eso no informa por sí solo sobre las sesenta pendientes. Revisa si eran casos difíciles, errores de acceso o derivaciones innecesarias. Tampoco demuestra una calidad equivalente en otro canal o periodo.

Decide por segmentos

Compara ambos indicadores por tipo de tarea, idioma y nivel de impacto. Aumentar respuestas aceptadas puede reducir su calidad; elevar el umbral puede desplazar trabajo a las personas. El propietario del proceso debe decidir el equilibrio admisible y la capacidad de revisión. Mantén un criterio bloqueante para errores críticos aunque el balance global mejore. Al presentar resultados, adjunta definición, periodo, muestra y límites para que otra persona pueda interpretar las cifras sin conocer la configuración del agente.

Fuentes y documentación

• OpenAI · Evaluation best practices — Rúbricas y evaluación por tarea; las métricas concretas del artículo son propuestas que debes validar en tu proceso.
• NIST · AI RMF Core — Referencia voluntaria para documentar riesgos, medición y condiciones de uso.