Cómo comprobar que una respuesta no oculta una excepción importante

Identifica qué condiciones cambian el resultado

Con el dueño del procedimiento, extrae exclusiones, límites de importe, fechas de vigencia y requisitos previos. Relaciona cada uno con la conclusión que modifica. Diferencia una nota informativa de una condición obligatoria. Así evitas pedir al evaluador que adivine qué detalle es relevante entre páginas de texto y notas al pie.

Crea pares de casos casi iguales

Prepara dos solicitudes que solo difieran en el dato que activa la excepción. Por ejemplo hipotético, una devolución dentro del plazo ordinario y otra fuera de él con una condición especial. La respuesta debe cambiar por esa diferencia, sin inventar una prohibición o autorización. Añade un caso donde falta el dato: la salida correcta puede ser preguntar antes de concluir.

Revisa todas las superficies de decisión

Compara respuesta larga, resumen, asunto del mensaje y campos enviados a una herramienta. Una advertencia puede sobrevivir en el texto y desaparecer en la etiqueta “aprobado”. Pide a un revisor que decida a partir de la salida realmente visible, sin darle la fuente completa. Si toma una decisión incompatible con la excepción, revisa ubicación, redacción o la propia regla de bloqueo.

Acepta con criterio por condición crítica

Registra excepción esperada, evidencia mostrada, decisión propuesta y resultado de revisión. No compenses una omisión crítica con muchos aciertos de redacción. Si el procedimiento cambia, actualiza tanto el par de prueba como la fuente aprobada. Mantén condiciones determinantes en validaciones de aplicación cuando puedan expresarse con reglas; una instrucción al modelo puede ayudar a explicarlas, pero no es una garantía de que nunca las omita.

Añade una prueba con la excepción en una nota al pie o una tabla si ese formato existe en tus documentos. Así podrás distinguir que el agente no la haya leído de que la haya recuperado y después eliminado al resumir.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.
• OpenAI — Function calling — El modelo propone llamadas; la aplicación ejecuta el código de las herramientas.