Cómo separar ejemplos de desarrollo y de evaluación de un agente

Asigna tres usos distintos

Usa ejemplos de desarrollo para ajustar instrucciones, una colección de validación para comparar propuestas durante el trabajo y una reserva final con acceso más restringido. Ajusta el tamaño a los datos disponibles y al riesgo; no existe un reparto porcentual que sirva para todos los proyectos. Registra qué colección se ha consultado en cada decisión. Cuando un error de la reserva inspira un cambio, ese ejemplo deja de ser completamente nuevo para el equipo.

Agrupa antes de repartir

Identifica documentos de la misma plantilla, duplicados, versiones, hilos de una misma solicitud y casos derivados de un mismo original. Asigna la familia completa al grupo que corresponda cuando esa relación pueda facilitar la respuesta. Si necesitas medir generalización a nuevos emisores, separa por emisor; si importa el cambio temporal, reserva un periodo posterior. Escribe qué pregunta experimental resuelve el reparto y qué no permite concluir.

Protege la reserva sin bloquear el diagnóstico

Define quién puede ver entradas, respuestas esperadas y resultados agregados. Quien configura el agente puede recibir etiquetas de fallo sin disponer siempre de todo el material reservado. Si necesitas abrir un caso para investigar, registra la exposición y programa su sustitución por otro caso autorizado de la misma familia de riesgo. No borres el historial para aparentar que nunca se utilizó.

Comprueba contaminación y vigencia

Busca coincidencias de identificadores, contenido y origen entre grupos; una igualdad literal detecta duplicados, pero no todas las variantes. Revisa una muestra de familias a mano. Al evaluar una versión nueva, usa el mismo grupo congelado y declara cualquier exposición previa. Renueva la reserva cuando el proceso o los documentos cambien, conservando también un conjunto histórico de regresión. Esa separación permite distinguir mejora en casos conocidos y comportamiento ante trabajo todavía no usado para ajustar el sistema.

Fuentes y documentación

• OpenAI · Evaluation best practices — Referencia sobre casos diversos y evaluación; el procedimiento propuesto no es una garantía del proveedor.
• NIST · AI RMF Core — Marco voluntario sobre medición y documentación de límites.