Cómo revisar discrepancias entre dos versiones de instrucciones del agente

Prepara pares comparables

Congela modelo, herramientas, fuentes y configuración mientras cambias las instrucciones. Identifica ambas versiones y conserva la entrada exacta. Si la fuente cambia entre pruebas, marca el par como no comparable y repítelo. OpenAI recomienda definir objetivos y métricas antes de comparar evaluaciones; el criterio debe existir antes de leer cuál de las dos salidas te gusta más.

Clasifica la diferencia por consecuencia

Separa estilo, información omitida, fuente seleccionada, aclaración, derivación y acción propuesta. Prioriza los pares donde cambia destinatario, importe, permiso o estado final. No dediques toda la revisión a frases distintas que mantienen el mismo resultado. Un expediente de discrepancia debe incluir requisito afectado y evidencia de la fuente, evitando pedir al evaluador que adivine la intención del autor.

Adjudica contra la regla vigente

El dueño del proceso decide si el comportamiento nuevo cumple el requisito y anota la explicación. Cuando la regla sea ambigua, registra una decisión pendiente y aclárala antes de usar ese caso como prueba. No conviertas la preferencia de un modelo evaluador en aprobación automática. Este procedimiento analiza diferencias entre versiones; un desacuerdo entre revisores requiere además su propia resolución de criterios.

Convierte la decisión en un caso estable

Añade el ejemplo y el resultado admitido al conjunto de evaluación, con versión del requisito y fecha. Repite los pares afectados tras corregir las instrucciones. Entrega un registro de discrepancias cerradas, abiertas y bloqueantes con su responsable. Esto complementa las pruebas generales de regresión: aporta la explicación de cada cambio relevante y permite revisar por qué se aceptó, en lugar de limitarse a un promedio mejor.

Distingue variación y cambio persistente

Repite casos relevantes cuando la salida sea variable y anota la configuración de cada ejecución. Una única respuesta favorable no cierra una discrepancia grave. La explicación del revisor debe reconocer esa variación y señalar qué comprobación determinista puede proteger el campo crítico aunque la redacción fluctúe.

Fuentes y documentación

• OpenAI: evaluación — Recomienda objetivos, casos, criterios y comparación continua; una evaluación no garantiza futuras respuestas.