Cómo comparar dos versiones de un agente con los mismos casos

Congela lo que no quieres comparar

Define si el cambio afecta al modelo, las instrucciones, la recuperación o la aplicación. Conserva conjunto de casos, respuestas esperadas, fuentes y permisos. Si varias piezas cambian a la vez, puedes evaluar la solución completa, pero no atribuir el efecto a una sola. Usa un entorno de prueba sin envíos ni cambios operativos reales. Si una fuente externa es variable, documenta su estado o sustituye la dependencia por una instantánea autorizada.

Usa la misma rúbrica y revisa a ciegas

Presenta los resultados sin indicar qué versión los produjo cuando sea viable. Aplica las mismas reglas de corrección, omisión, abstención y error crítico. Alterna el orden si comparas pares con personas o evaluadores automáticos para reducir preferencias de posición. Un evaluador basado en otro modelo necesita contraste con etiquetas humanas; no conviertas su preferencia por una respuesta larga en evidencia de mayor calidad.

Mira las cuatro transiciones

Cuenta casos que ambas resuelven, ambas fallan, solo resuelve la anterior y solo resuelve la nueva. Inspecciona cada regresión crítica aunque haya más mejoras totales. Añade coste y latencia medidos bajo condiciones comparables si influyen en el proceso, sin estimar ahorro a partir de una única llamada. Cuando haya variabilidad, repite casos relevantes con un presupuesto acordado y muestra la dispersión, no solo el mejor intento.

Escribe una decisión limitada

Indica qué versión prefieres, para qué tareas y con qué errores abiertos. No declares equivalencia por no ver diferencias en una muestra pequeña. Si modificas la rúbrica tras descubrir un caso ambiguo, reaplícala a ambas versiones y conserva el cambio. El propietario del proceso debe aceptar las regresiones o exigir corrección antes de ampliar el uso. Conserva el resultado emparejado como referencia para la siguiente comparación.

Fuentes y documentación

• OpenAI · Evaluation best practices — Referencia sobre casos diversos y evaluación; el procedimiento propuesto no es una garantía del proveedor.
• NIST · AI RMF Core — Marco voluntario sobre medición y documentación de límites.