Cómo resolver desacuerdos entre revisores al etiquetar errores de un agente

Prepara una doble revisión independiente

Entrega una muestra común con tipos de tarea y severidad variados. Cada persona etiqueta sin ver la decisión de la otra ni, cuando sea viable, la versión del agente. Pide categoría, gravedad, fragmento relevante y regla aplicada. No solicites solo una nota global: un desacuerdo sobre estilo tiene una causa distinta de discrepar sobre si un importe está respaldado. Incluye casos cuya respuesta correcta sea derivar.

Clasifica el desacuerdo antes de resolverlo

Distingue referencia incompleta, criterio ambiguo, error del revisor y diferencia legítima de interpretación. Si la fuente no permite decidir, marca el caso pendiente en lugar de elegir por mayoría. Si ambas respuestas son admisibles, expresa el rango aceptado. Cuando el conflicto depende de una política comercial, deriva su definición al propietario de esa política; el equipo de evaluación no debe inventarla para cerrar la hoja.

Adjudica y actualiza la guía

Asigna una persona con conocimiento del proceso y autoridad para interpretar el criterio. Registra decisión, evidencia, justificación y versión de la rúbrica. Conserva las etiquetas iniciales para analizar dónde se producía la inconsistencia. Añade un ejemplo resuelto y un contraejemplo a la guía. Si cambia una regla, identifica casos anteriores afectados y vuelve a puntuarlos; no mezcles resultados con definiciones distintas en una misma comparación.

Comprueba si el acuerdo mejora

Haz otra ronda independiente sobre casos nuevos del mismo tipo. Muestra acuerdos y desacuerdos por categoría, con número de casos, sin ocultar errores críticos dentro del total. Si el equipo coincide porque todos reciben una referencia errónea, la consistencia será alta pero la evaluación seguirá mal: revisa también la calidad de la evidencia. La documentación oficial de evaluación contempla desacuerdos humanos; tu procedimiento debe demostrar cómo los resuelves y qué dudas permanecen abiertas antes de usar las etiquetas como referencia.

Fuentes y documentación

• OpenAI · Evaluation best practices — Rúbricas y evaluación por tarea; las métricas concretas del artículo son propuestas que debes validar en tu proceso.
• NIST · AI RMF Core — Referencia voluntaria para documentar riesgos, medición y condiciones de uso.