Cómo diseñar una matriz de excepciones por frecuencia e impacto para evaluar un agente

Construye un registro de excepciones

Parte de incidencias y casos pendientes autorizados. Para cada excepción anota condición de entrada, consecuencia, frecuencia observada con periodo y denominador, responsable y respuesta esperada. Si no conoces la frecuencia, marca desconocida; no la clasifiques como rara. Separa hechos observados de escenarios hipotéticos y conserva esa distinción. Agrupa por mecanismo de fallo, evitando que diez redacciones de la misma solicitud ocupen diez celdas diferentes.

Convierte los ejes en criterios escritos

Define bandas de frecuencia que tengan sentido para tu volumen y niveles de impacto mediante consecuencias concretas: corrección interna, compromiso externo o cambio difícil de recuperar. Especifica quién resuelve una discrepancia al clasificar. No multipliques escalas ordinales para obtener una puntuación aparentemente exacta. Una excepción infrecuente que expone información puede necesitar una prueba bloqueante con independencia de su posición en una clasificación numérica.

Asigna cobertura y condiciones de cierre

Para cada celda escribe cuántos mecanismos distintos debes ensayar y qué variaciones importan: formato, canal, fuente ausente o fallo de herramienta. No hay una cuota universal. El propietario del proceso debe aprobar la suficiencia según el riesgo y marcar celdas todavía vacías. Mantén separadas la muestra representativa, útil para estimar comportamiento habitual, y la muestra reforzada de excepciones. Si mezclas ambas, no interpretes su tasa agregada como frecuencia de producción.

Entrega un mapa de deuda de prueba

El resultado debe mostrar, por celda, mecanismos previstos, casos ejecutados, fallos abiertos y decisión: aceptado dentro de límites, pendiente o bloqueado. Una celda vacía no equivale a cero errores. Incluye fecha y condición para revisar excepciones de frecuencia desconocida. Al incorporar un canal nuevo, comprueba qué celdas pierde su evidencia por el cambio y vuelve a probarlas. Así la matriz decide dónde falta trabajo, en lugar de limitarse a ordenar ejemplos ya reunidos.

Fuentes y documentación

• OpenAI · Evaluation best practices — Referencia sobre casos diversos y evaluación; el procedimiento propuesto no es una garantía del proveedor.
• NIST · AI RMF Core — Marco voluntario sobre medición y documentación de límites.