Qué revisar cuando mejora la puntuación media pero empeoran los casos críticos

Verifica que comparas lo mismo

Comprueba versión del conjunto, pesos, rúbrica y número de ejecuciones. Asegúrate de que los casos fallidos no desaparecieron del cálculo por un error técnico. Revisa si los casos nuevos fáciles diluyen los difíciles o si cambió la proporción de tareas. Conserva un subconjunto fijo para comparar el comportamiento anterior y otro actualizado para representar el uso actual; responde a preguntas diferentes.

Abre cada regresión crítica

Muestra entrada, resultado de ambas versiones, evidencia y criterio incumplido. Distingue un valor falso de una omisión, una filtración o una acción fuera de alcance. Localiza si cambió la recuperación, las instrucciones, el modelo o una herramienta. Repite cuando haya variabilidad, pero no elimines el fallo porque otro intento salga bien. Registra recurrencia y condiciones de aparición para decidir un control adecuado.

No conviertas gravedad en compensación

Define qué clases de error bloquean la aceptación con independencia del promedio. Un caso crítico no siempre implica suspender toda función: puede requerir mantener una tarea concreta en modo borrador o retirarla del alcance, si el responsable lo aprueba y el límite se aplica realmente. Verifica esa restricción en pruebas negativas. Una advertencia escrita que la integración ignora no reduce el uso permitido.

Deja una decisión que pueda revisarse

Entrega mejoras por segmento, regresiones abiertas, controles y responsable de aceptar el riesgo residual. Si corriges la nueva versión, ejecuta los casos afectados y una regresión razonable sobre tareas cercanas; no cambies la respuesta esperada para obtener un aprobado. Establece cuándo volverás a revisar el límite temporal. NIST orienta a documentar medición y límites, pero la decisión concreta de uso corresponde al proceso. Una mejora numérica general no sustituye esa decisión ni prueba seguridad universal.

Fuentes y documentación

• NIST · AI RMF Core — Referencia voluntaria para documentar riesgos, medición y condiciones de uso.
• OpenAI · Evaluation best practices — Rúbricas y evaluación por tarea; las métricas concretas del artículo son propuestas que debes validar en tu proceso.