Cómo convertir una incidencia real en un caso de evaluación autorizado

Define el propósito del nuevo caso

Escribe qué comportamiento quieres evitar y qué resultado debería producirse. Identifica quién es responsable del expediente y quién autoriza usar material para evaluación según el procedimiento aplicable. Decide si basta con un caso sintético. No copies automáticamente conversaciones de clientes a una plataforma de evaluación externa ni presupongas que cambiar el nombre elimina todos los identificadores.

Reduce sin destruir el desencadenante

Retira datos innecesarios y sustituye entidades de forma coherente entre mensajes y adjuntos. Conserva formatos, secuencia de correcciones o condición relevante. Si el fallo dependía de dos referencias parecidas, mantén esa semejanza con valores ficticios. Documenta qué cambió y comprueba que la versión reducida todavía reproduce el defecto; si no lo hace, el caso no cubre lo mismo.

Escribe una referencia que otro pueda revisar

Incluye entrada permitida, contexto controlado, versiones relevantes y criterio de aceptación. Anota por qué la respuesta original era errónea y qué variaciones serían válidas. No uses el texto reparado como única verdad si depende de una política que acaba de cambiar. Obtén la validación de alguien que conozca el proceso y separa sus comentarios de los datos que recibirá el modelo.

Controla acceso y permanencia

Guarda autorización o referencia a ella, responsable, ubicación y fecha de revisión del caso. Diferencia el expediente original restringido del derivado para pruebas. Ejecuta primero sin herramientas con efectos y comprueba que el caso falla con la versión defectuosa y pasa con la corrección. Si no detecta la regresión conocida, revisa el evaluador. La prueba añadida sirve para ese defecto y sus variantes; no demuestra que todos los casos semejantes estén resueltos.

Separa el conjunto que usas para ajustar instrucciones de otro reservado para comprobar el resultado. Si repites únicamente la incidencia convertida en ejemplo, puedes mejorar ese caso sin aprender nada sobre variantes que el equipo todavía no ha mostrado al sistema.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.
• OpenAI — Data controls — La conservación depende del endpoint, las funciones y los controles aplicables.