Cómo medir abstenciones útiles en un agente de atención

Etiqueta antes de mirar la respuesta

Marca cada caso como resoluble dentro del alcance o pendiente de aclaración, evidencia o intervención autorizada. Incluye la razón y la fuente que permite decidirlo. No etiquetes como imposible un caso solo porque el agente lo falló. Si la referencia humana tampoco es suficiente, retira el caso de las métricas de acierto y mantenlo como duda que necesita adjudicación.

Cuenta abstenciones acertadas y excesivas

En los casos que requieren parar, mide cuántos se detienen correctamente. Entre los resolubles, cuenta cuántos se derivan sin necesidad. Muestra ambos denominadores y los casos que siguieron cuando debían parar. La tasa total de abstención no basta: podría aumentar porque mejora la seguridad o porque el agente deja de contestar preguntas sencillas. Separa también el fallo de acceso a una fuente de una falta real de información.

Revisa la utilidad del traspaso

Comprueba que la abstención identifica lo que falta, conserva la pregunta y propone un destino apropiado. En un ejemplo hipotético, “no puedo ayudar” es menos resoluble que señalar que falta confirmar el número de pedido y dirigir la consulta a su cola. Evita pedir datos que ya se recibieron. No aceptes una derivación que anuncie una gestión completada ni una que prometa un plazo que el equipo no ha autorizado.

Prueba que la cola puede absorberlo

Mide pendientes, antigüedad y devoluciones por falta de contexto durante un piloto acotado. Si se utiliza un umbral para derivar, compáralo con casos revisados; la confianza expresada por el modelo no es una probabilidad de acierto validada. Decide el equilibrio con el responsable de atención y mantén bloqueos específicos para casos de impacto. Aceptar más abstenciones requiere una capacidad de revisión real, no solo una puntuación favorable en la prueba.

Fuentes y documentación

• OpenAI · Evaluation best practices — Rúbricas y evaluación por tarea; las métricas concretas del artículo son propuestas que debes validar en tu proceso.
• OWASP · Misinformation — Límites de respuestas sin respaldo y contraste de información sensible.