Cómo revisar falsos positivos en una clasificación de solicitudes
Un falso positivo aparece cuando el agente asigna una categoría a una solicitud que no pertenece a ella.
Equipo enginerIT· 2 min de lectura
Un falso positivo aparece cuando el agente asigna una categoría a una solicitud que no pertenece a ella. Revisa primero el efecto de esa etiqueta: no es lo mismo colocar un correo en una bandeja equivocada que activar una prioridad o una acción externa.
Define el positivo con precisión
Elige una categoría concreta y escribe qué condiciones la incluyen y cuáles la excluyen. En un ejemplo hipotético, mencionar una factura no convierte una consulta comercial en una reclamación de cobro. Añade ejemplos fronterizos y decide si una solicitud puede llevar varias etiquetas. Sin ese acuerdo, dos revisores pueden llamar falso positivo a resultados distintos y la métrica dejará de orientar la mejora.
Reconstruye el denominador
Cuenta verdaderos positivos y falsos positivos entre las solicitudes marcadas como positivas para calcular precisión. Si quieres medir la tasa de falsos positivos, divide los falsos positivos entre los casos que realmente no pertenecen a la categoría. No confundas esos cocientes. Muestra también falsos negativos: reducir todas las asignaciones puede eliminar falsos positivos a costa de perder solicitudes que sí necesitaban el tratamiento.
Agrupa los errores por señal
Revisa texto original, evidencia y categoría esperada. Busca negaciones, palabras compartidas, citas de mensajes antiguos, adjuntos y peticiones con varias intenciones. No corrijas cada frase aislada con una excepción nueva si hay una regla de clasificación mal definida. Comprueba si la fuente de referencia humana también contiene etiquetas heredadas sin revisión. Un historial operativo no constituye automáticamente una verdad de evaluación.
Valida la corrección contra sus efectos
Prueba de nuevo los falsos positivos conocidos y una reserva de solicitudes no usadas para modificar las instrucciones. Incluye positivos parecidos para detectar pérdidas de cobertura. Si la etiqueta dispara una acción, mantén esa acción bajo el control de negocio correspondiente; acertar la clasificación no equivale a estar autorizado a enviar o modificar. Decide el umbral por categoría según el coste de ambos tipos de error y documenta qué casos seguirán pasando por revisión.
Comprobaciones para cerrar la tarea
- ✓ Escribe inclusión, exclusión y tratamiento de solicitudes mixtas.
- ✓ No confundas precisión con tasa de falsos positivos.
- ✓ Comprueba positivos perdidos después de corregir una sobreclasificación.
- ✓ Mantén la autorización de acciones separada de la etiqueta asignada.
Fuentes y documentación
- OpenAI · Evaluation best practices — Rúbricas y evaluación por tarea; las métricas concretas del artículo son propuestas que debes validar en tu proceso.
- NIST · AI RMF Core — Referencia voluntaria para documentar riesgos, medición y condiciones de uso.
Aplicarlo en tu empresa
Podemos revisar el entorno y acordar qué actuaciones, validaciones y mantenimiento necesitas.
Conocer el servicio relacionado →