Cómo preparar una revisión de calidad de agentes con el equipo de negocio

Entrega una carpeta pequeña y legible

Selecciona ejemplos normales, errores frecuentes y fallos de impacto alto. Para cada caso muestra solicitud saneada, salida, fuente válida, criterio esperado y consecuencia posible. Oculta la versión generadora cuando quieras comparar opciones sin sesgo. No llenes la reunión de trazas completas; deja el detalle técnico accesible a quienes puedan interpretarlo y tengan autorización.

Acordad cómo resolver desacuerdos

Reserva al principio algunos ejemplos para calibrar la pauta. Pide que cada revisor indique qué dato acepta o rechaza y por qué. Si discrepan sobre una política, asigna la aclaración al propietario del proceso antes de juzgar al agente. Una reunión de evaluación no debe crear políticas comerciales implícitas mediante una votación improvisada.

Conecta hallazgos con cambios autorizados

Clasifica cada defecto por consecuencia y capa: dato de origen, recuperación, regla, redacción, integración o revisión humana. Define una acción con responsable y fecha, junto con el caso que deberá pasar para cerrarla. Un fallo de permiso no se arregla pidiendo al equipo que preste más atención. Una mejora de tono tampoco resuelve una derivación perdida.

Deja una decisión operativa verificable

El acta recoge alcance aceptado, límites, errores abiertos y quién tiene autoridad para autorizar el uso. Si se acepta una excepción temporal, fija su condición de revisión y el control compensatorio concreto. Termina confirmando qué sigue en modo borrador y qué puede ejecutar acciones. En la siguiente revisión, abre primero los compromisos anteriores y sus evidencias. El marco de NIST sirve para organizar responsabilidades; usarlo no certifica la calidad del agente ni reemplaza la aceptación del negocio.

Invita a quien atiende las excepciones, además de quien dirige el proceso. Puede mostrar pasos que las métricas no reflejan, como reconstruir información para una devolución. Incluye esa carga en la decisión y asigna cómo se comprobará después de cambiar el flujo.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.
• NIST — AI RMF Core — Marco voluntario para asignar responsabilidades y gestionar riesgos durante el ciclo de vida.