Cómo detectar que un agente dejó de consultar una fuente importante

Elige preguntas cuya fuente sea necesaria

Con el dueño del contenido, prepara consultas que necesiten un dato exclusivo de la fuente vigilada. Incluye otra que no deba usarla. Mantén la respuesta esperada y la referencia autorizada sin introducir secretos en la prueba. Una pregunta genérica puede contestarse desde otras fuentes y dar una falsa sensación de cobertura.

Observa dónde se pierde el acceso

Distingue que la fuente esté registrada, que la búsqueda se ejecute, que devuelva candidatos autorizados y que el dato relevante llegue al contexto. Una fuente conectada no demuestra recuperación útil. Si la herramienta expone resultados y referencias, registra esas señales; si no, documenta el límite y utiliza pruebas de extremo a extremo. No presupongas que todos los proveedores muestran el mismo detalle.

Investiga el cambio con un contraste

Ante un fallo testigo, comprueba permisos del usuario de prueba, fecha de indexación, filtros, errores y cambios del documento. Repite la búsqueda directamente desde el componente de recuperación cuando sea posible. Si devuelve el fragmento correcto pero la respuesta lo omite, investiga selección o generación; si ni lo recupera, empieza por el acceso y el índice. Cambia una condición cada vez para que el contraste tenga sentido.

Define la respuesta operativa de la alerta

Acordad quién recibe el aviso, qué respuestas se limitan y cuándo se vuelve al canal manual. Una sola pregunta testigo no mide toda la calidad documental; amplía por tipos de contenido y revisa los testigos cuando cambie la fuente. Para reanudar, verifica el dato desde la identidad y canal reales previstos, no únicamente con una cuenta administradora. Conserva el fallo como prueba de regresión y registra cuándo volvió a pasar.

Evita que el propio test modifique la fuente vigilada o aprenda su respuesta desde una caché persistente. Alterna preguntas equivalentes y revisa su procedencia: un testigo recordado puede seguir pasando aunque el acceso al documento ya esté roto.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.
• OpenAI — Function calling — El modelo propone llamadas; la aplicación ejecuta el código de las herramientas.