Evaluación y operación de agentes de IA
Guías y decisiones prácticas sobre evaluación y operación de agentes de ia.
Cómo definir la salida válida de un agente antes de elegir un modelo
Define una salida válida describiendo qué podrá hacer quien la reciba, qué evidencia necesita y qué condiciones impedirán usarla.
Leer la guía →
Qué campos deben ser obligatorios en la respuesta de un agente
Haz obligatorio un campo cuando su presencia permita interpretar, verificar o tramitar la respuesta.
Leer la guía →
Cómo distinguir una respuesta incompleta de una respuesta incorrecta
Una respuesta incompleta deja sin resolver parte de lo solicitado; una incorrecta afirma algo que no cumple el criterio de verdad o de negocio.
Leer la guía →
Cómo representar un dato desconocido sin inventar un valor
Representa un dato desconocido con un estado explícito y un valor vacío compatible con el contrato.
Leer la guía →
Qué comprobar antes de aceptar una respuesta estructurada como válida
Acepta una respuesta estructurada solo después de comprobar que está completa, cumple el contrato, respeta las reglas del proceso y contiene datos respaldados.
Leer la guía →
Cómo evaluar importes extraídos por un agente con tolerancias explícitas
Evalúa los importes comparando valor, moneda y significado contra una referencia revisada.
Leer la guía →
Cómo comprobar fechas extraídas cuando el documento es ambiguo
Cuando una fecha admite varias interpretaciones, evalúa si el agente conserva la ambigüedad y busca evidencia autorizada para resolverla.
Leer la guía →
Qué hacer cuando un agente mezcla datos de dos documentos
Detén el uso de los campos afectados y reconstruye su procedencia.
Leer la guía →
Cómo evaluar códigos de producto parecidos con pares mínimos
Para evaluar referencias parecidas, construye pares de casos que solo cambien el carácter o atributo que distingue un producto de otro.
Leer la guía →
Cómo medir si un agente respeta las unidades de medida
Mide la fidelidad de cantidad y unidad juntas, separando lectura, conversión y presentación.
Leer la guía →
Cómo diseñar una matriz de excepciones por frecuencia e impacto para evaluar un agente
Diseña una matriz de excepciones que termine en una cuota de pruebas y una decisión de aceptación por celda.
Leer la guía →
Cómo separar ejemplos de desarrollo y de evaluación de un agente
Separa desarrollo y evaluación por casos y por familias de origen, no solo por filas.
Leer la guía →
Qué comprobar antes de reutilizar datos de clientes para evaluar
Antes de reutilizar datos de clientes, define la finalidad de evaluación y revisa si necesitas información personal real para medirla.
Leer la guía →
Cómo registrar la versión de las instrucciones usada en una prueba
Registra la versión efectiva de las instrucciones, no solo el nombre del archivo que crees haber usado.
Leer la guía →
Cómo comparar dos versiones de un agente con los mismos casos
Compara dos versiones mediante resultados emparejados: cada caso debe pasar por ambas con las mismas condiciones relevantes.
Leer la guía →
Cómo medir abstenciones útiles en un agente de atención
Una abstención es útil cuando evita una respuesta sin respaldo y deja al equipo un siguiente paso resoluble.
Leer la guía →
Cómo revisar falsos positivos en una clasificación de solicitudes
Un falso positivo aparece cuando el agente asigna una categoría a una solicitud que no pertenece a ella.
Leer la guía →
Cómo diferenciar cobertura y precisión al evaluar un agente
Antes de hablar de cobertura, define su significado.
Leer la guía →
Qué revisar cuando mejora la puntuación media pero empeoran los casos críticos
Si mejora la media y empeoran casos críticos, revisa las regresiones antes de aceptar la versión.
Leer la guía →
Cómo resolver desacuerdos entre revisores al etiquetar errores de un agente
Resuelve los desacuerdos entre revisores con una adjudicación basada en criterios y evidencia, conservando las etiquetas originales.
Leer la guía →
Cómo relacionar una respuesta con los fragmentos que la respaldan
Relaciona cada afirmación verificable con el fragmento que realmente la respalda, incluyendo sus condiciones.
Leer la guía →
Qué comprobar antes de citar un documento recuperado por un agente
Antes de citar un documento recuperado, comprueba identidad, acceso, vigencia y pertinencia.
Leer la guía →
Cómo detectar que una respuesta utiliza una versión antigua de un documento
Para detectar una respuesta basada en un documento antiguo, compara la versión citada con la versión aplicable a la fecha y ámbito de la consulta.
Leer la guía →
Cómo tratar fuentes internas que se contradicen
Cuando dos fuentes internas se contradicen, conserva ambas y aplica una regla de autoridad aprobada.
Leer la guía →
Cómo decidir cuándo una consulta necesita escalarse por falta de evidencia
Escala una consulta cuando falte evidencia necesaria para responder o actuar dentro del alcance acordado.
Leer la guía →
Cómo limitar la búsqueda de un agente a los documentos del usuario
Para limitar la búsqueda a los documentos que puede leer una persona, aplica su autorización antes de entregar fragmentos al modelo.
Leer la guía →
Qué revisar al indexar documentos con permisos distintos
Antes de indexar documentos con permisos diferentes, comprueba que cada fragmento conservará la relación con el archivo y su autorización.
Leer la guía →
Cómo retirar un documento de una base de conocimiento de un agente
Retirar un documento de la base de conocimiento exige impedir su recuperación y tratar las copias derivadas.
Leer la guía →
Cómo comprobar que un cambio de permisos afecta a la recuperación
Para comprobar una revocación, mide desde el cambio de permiso en el origen hasta la última recuperación permitida en el agente.
Leer la guía →
Cómo separar los índices documentales de varias empresas
Para separar documentos de varias empresas, vincula cada consulta a una empresa autenticada y elige una frontera de aislamiento que puedas operar.
Leer la guía →
Cómo distinguir una instrucción del usuario de contenido de un documento
Una instrucción de trabajo procede del canal autorizado para pedir la tarea; el texto de un documento es material que analizar.
Leer la guía →
Qué hacer cuando un archivo intenta cambiar las reglas del agente
Si un archivo intenta cambiar las reglas del agente, detén las acciones que dependan de ese contenido y conserva una referencia para revisión.
Leer la guía →
Cómo probar la resistencia de un agente a instrucciones en correos reenviados
Prueba los correos reenviados como una cadena de contenido con autores y niveles de confianza distintos.
Leer la guía →
Cómo limitar el efecto de contenido no confiable en una respuesta
Para limitar el efecto de contenido no confiable, reduce qué información puede aportar y qué decisiones puede desencadenar.
Leer la guía →
Cómo registrar un intento de manipulación sin reenviar datos sensibles
Registra un intento de manipulación con datos que permitan investigarlo sin convertir la alerta en una copia del expediente.
Leer la guía →
Cómo definir una lista de herramientas permitidas para un agente
Una lista de herramientas permitidas debe especificar operaciones concretas, condiciones y dueño.
Leer la guía →
Qué comprobar antes de autorizar una herramienta que modifica datos
Antes de autorizar una herramienta que modifica datos, revisa su efecto real sobre el sistema y cómo detectarás una ejecución parcial.
Leer la guía →
Cómo separar herramientas de consulta y de escritura
Separa consulta y escritura en el catálogo de herramientas, en las credenciales cuando el sistema lo permita y en el flujo de ejecución.
Leer la guía →
Cómo validar los argumentos de una llamada propuesta por un agente
Valida una llamada propuesta por el agente en tres planos: formato, significado y autorización.
Leer la guía →
Cómo impedir que una respuesta del modelo amplíe sus propios permisos
Impide que el modelo amplíe sus permisos manteniendo la política y las credenciales fuera de su capacidad de modificación.
Leer la guía →
Cómo asociar una autorización humana con la versión exacta de una acción
Asocia cada aprobación a una propuesta cerrada que identifique operación, destino y contenido significativo.
Leer la guía →
Qué revisar antes de aprobar un envío preparado por un agente
Antes de aprobar un envío, revisa la combinación de destinatario, mensaje, adjuntos y autoridad para comunicarlo.
Leer la guía →
Cómo caducar una acción que espera aprobación
Una acción pendiente de aprobación debe tener una fecha o condición de caducidad que compruebe el ejecutor.
Leer la guía →
Cómo tratar cambios en los datos después de una aprobación
Si los datos cambian después de una aprobación, comprueba si alteran el contenido o las condiciones de la acción antes de ejecutarla.
Leer la guía →
Cómo registrar quién autorizó una acción y con qué contexto
Para registrar quién autorizó una acción, enlaza una identidad verificada con la propuesta exacta, su contexto y la decisión tomada.
Leer la guía →
Cómo comprobar el destinatario antes de que un agente envíe un mensaje
Comprueba el destinatario mediante una referencia autorizada del expediente y muestra su dirección completa antes de enviar.
Leer la guía →
Cómo limitar el contenido de una respuesta que incluye datos personales
Limita una respuesta con datos personales desde la consulta, no solo al corregir el texto final.
Leer la guía →
Qué revisar cuando un agente prepara un adjunto para un cliente
Cuando un agente prepara un adjunto para un cliente, revisa el archivo que saldrá, su procedencia y su relación con ese cliente.
Leer la guía →
Cómo evitar que un agente confirme un precio sin una fuente autorizada
Evita confirmar precios exigiendo una fuente comercial autorizada y sus condiciones antes de construir la respuesta.
Leer la guía →
Cómo separar un borrador comercial de un compromiso con el cliente
Separa un borrador comercial de un compromiso con estados, autoridad y capacidad de envío distintos.
Leer la guía →
Cómo conservar el estado de una tarea de agente entre ejecuciones
Conserva el estado de la tarea en un registro persistente que puedas recuperar sin pedir al modelo que reconstruya lo sucedido.
Leer la guía →
Qué comprobar antes de reanudar una conversación interrumpida
Antes de reanudar una conversación, comprueba que siguen vigentes la identidad, la intención y los datos que justificaban la siguiente acción.
Leer la guía →
Cómo asignar la propiedad de una solicitud a un único trabajador del agente
Para que un único trabajador procese una solicitud, la asignación debe decidirse en el almacén que coordina las ejecuciones.
Leer la guía →
Cómo tratar un resultado tardío de una herramienta que ya no se espera
Un resultado tardío debe relacionarse con la operación y versión que lo solicitaron antes de incorporarlo al trabajo actual.
Leer la guía →
Cómo cerrar una tarea de agente que necesita intervención manual
Cierra la ejecución automática como derivada y mantén abierto el trabajo de negocio hasta que una persona lo acepte o resuelva.
Leer la guía →
Cómo definir un límite de pasos para un agente con herramientas
Fija el límite de pasos en el ejecutor y acompáñalo de una salida útil: resultado parcial, motivo de parada y siguiente responsable.
Leer la guía →
Qué hacer cuando un agente repite la misma consulta sin avanzar
Si el agente repite una consulta sin aportar información nueva, detén esa rama y busca qué condición le impide avanzar.
Leer la guía →
Cómo reservar tiempo para guardar el estado antes de vencer una tarea
Para guardar el progreso antes de vencer una tarea, reserva parte del tiempo total para cerrar llamadas, persistir el estado y comunicar el pendiente.
Leer la guía →
Cómo detectar una conversación que consume recursos sin resolver la solicitud
Detecta el consumo improductivo comparando recursos utilizados con hitos de resolución, no con la longitud de la conversación.
Leer la guía →
Cómo evitar que una dependencia caída acumule reintentos del agente
Cuando una dependencia cae, limita los intentos compartidos y deja de admitir llamadas que solo aumentarían la cola.
Leer la guía →
Cómo presupuestar tareas de agente cuando cambia la mezcla de solicitudes
Presupuesta cada categoría de solicitud y combina sus costes con la proporción esperada de trabajo.
Leer la guía →
Cómo decidir qué tareas pueden pasar a un modelo más pequeño
Decide por categoría de tarea qué puede pasar a un modelo más pequeño.
Leer la guía →
Cómo identificar qué parte del contexto está aumentando el coste
Para saber qué contexto aumenta el coste, mide por separado instrucciones, historial, documentos recuperados y resultados de herramientas antes de enviarlos al modelo.
Leer la guía →
Cómo limitar el uso de un agente por cliente o departamento
Aplica las cuotas al cliente o departamento autenticado antes de iniciar trabajo facturable.
Leer la guía →
Cómo conciliar la factura del proveedor de IA con el registro interno de uso
Concilia la factura de IA con el registro interno usando el mismo periodo, proyecto y unidad de consumo.
Leer la guía →
Qué comprobar al decidir dónde se procesan los documentos de un agente
Decide dónde se procesan los documentos siguiendo su recorrido completo: carga, extracción, recuperación, modelo, herramientas y registros.
Leer la guía →
Cómo validar la restitución de seudónimos sin mezclar clientes
Prueba la restitución autorizada de identificadores con correspondencias por cliente, sesión y versión, incluidos cruces, caducidad y cambios.
Leer la guía →
Cómo registrar qué proveedor intervino en una tarea
Registra el proveedor que realmente atendió cada llamada, además del que estaba configurado al iniciar la tarea.
Leer la guía →
Qué revisar antes de activar el almacenamiento de conversaciones
Antes de activar el almacenamiento de conversaciones, define para qué lo necesitas, qué parte conservarás y cuándo se eliminará.
Leer la guía →
Cómo organizar una solicitud de borrado que afecta a datos de un agente
Organiza una solicitud de borrado como un expediente coordinado entre privacidad y los dueños de los sistemas.
Leer la guía →
Cómo aislar el adaptador de modelo para ensayar otro proveedor
Para ensayar otro proveedor sin modificar todos los procesos, introduce una frontera entre la lógica de negocio y la llamada al modelo.
Leer la guía →
Qué revisar cuando el proveedor cambia el comportamiento de una herramienta
Si el proveedor cambia una herramienta, compara su contrato anterior con el nuevo y prueba los puntos donde el proceso depende de él.
Leer la guía →
Cómo revisar discrepancias entre dos versiones de instrucciones del agente
Revisa las discrepancias entre instrucciones antiguas y nuevas comparando decisiones sobre las mismas entradas.
Leer la guía →
Cómo definir una reversión de un agente que sigue recibiendo solicitudes
Define la reversión separando solicitudes nuevas, tareas en curso y efectos ya aplicados.
Leer la guía →
Cómo comunicar al equipo un cambio en los límites del agente
Comunica un cambio de límites con ejemplos de lo que el equipo podrá hacer desde la fecha prevista y de lo que deberá derivar.
Leer la guía →
Cómo comprobar que las trazas del agente excluyen contenido sensible
Comprueba la minimización con datos señuelo y revisando todos los destinos de telemetría.
Leer la guía →
Qué información necesita soporte para investigar un fallo de agente
Entrega a soporte un paquete que permita localizar el fallo y distinguir su impacto sin reenviar por defecto toda la conversación.
Leer la guía →
Cómo relacionar una respuesta del agente con la ejecución que la produjo
Vincula la respuesta visible con un identificador de salida y una ejecución interna antes de entregarla.
Leer la guía →
Cómo detectar que un agente dejó de consultar una fuente importante
Detecta la pérdida de una fuente con preguntas testigo y señales de consulta, no solo contando errores de respuesta.
Leer la guía →
Cómo distinguir un fallo del modelo de un fallo de integración
Aísla el fallo comparando tres evidencias: qué recibió el modelo, qué llamada propuso y qué ejecutó o devolvió la integración.
Leer la guía →
Cómo evaluar un resumen de una conversación de soporte
Evalúa el resumen contra una conversación de referencia y el trabajo que debe continuar soporte.
Leer la guía →
Qué comprobar en una respuesta que mezcla varios idiomas
Revisa idioma de salida, significado y campos operativos por separado.
Leer la guía →
Cómo medir si un agente conserva los compromisos de una conversación
Mide si se conservan los compromisos comparando obligaciones concretas, responsables, plazos y estado a lo largo de la conversación.
Leer la guía →
Cómo revisar una clasificación de urgencia antes de usarla en operaciones
Revisa especialmente los casos urgentes que el agente deja en una prioridad baja.
Leer la guía →
Cómo comprobar que una respuesta no oculta una excepción importante
Comprueba la excepción como una condición que cambia la respuesta o impide actuar.
Leer la guía →
Cómo preparar una revisión de calidad de agentes con el equipo de negocio
Prepara una revisión para tomar decisiones sobre casos concretos: aceptar, corregir, limitar o detener un uso.
Leer la guía →
Qué casos deben bloquear una ampliación de autonomía
Bloquea una ampliación cuando los fallos abiertos afectan precisamente a la nueva autoridad que quieres conceder.
Leer la guía →
Cómo convertir una incidencia real en un caso de evaluación autorizado
Transforma la incidencia en un caso de prueba conservando la condición que provocó el fallo, pero revisando qué datos puedes reutilizar y dónde.
Leer la guía →
Cómo documentar una excepción que el agente debe derivar siempre
Documenta la excepción como una regla operativa comprobable: condición de entrada, acciones bloqueadas, destino de derivación y evidencia que recibirá la persona.
Leer la guía →
Cómo revisar si las reglas de escalado siguen encajando con el negocio
Revisa las reglas de escalado comparando qué derivan, qué dejan pasar y si la persona receptora puede resolver el caso hoy.
Leer la guía →
Cómo separar el historial de sesión del dato maestro del cliente
El historial de sesión conserva lo dicho para continuar una conversación; el dato maestro representa el valor aprobado que otros procesos pueden utilizar.
Leer la guía →
Qué revisar antes de reutilizar información de una conversación anterior
Antes de reutilizar información anterior, comprueba identidad, finalidad, vigencia y permiso actual de acceso.
Leer la guía →
Cómo evitar que una preferencia de un usuario se aplique a toda la empresa
Guarda la preferencia con un ámbito explícito y aplica ese ámbito antes de recuperar el dato.
Leer la guía →
Cómo corregir un dato que el agente ha conservado de forma incorrecta
Corrige el registro de origen y todas las copias activas que puedan seguir alimentando respuestas.
Leer la guía →
Cómo expirar el contexto de una tarea que ya terminó
Haz que terminar una tarea cambie su estado de uso del contexto.
Leer la guía →
Cómo preparar el traspaso de un agente a otro equipo de mantenimiento
Prepara el traspaso para que el nuevo equipo pueda diagnosticar, pausar y restaurar el agente con sus propios accesos.
Leer la guía →
Qué documentación debe acompañar las herramientas de un agente
Cada herramienta necesita un contrato que permita entender qué hace, qué efectos puede causar y cómo confirmar el resultado.
Leer la guía →
Cómo revisar la propiedad de cuentas y conexiones al cambiar de proveedor de IA
Revisa la propiedad recurso por recurso: organización, proyecto, conexión, credencial, índice y canal de soporte.
Leer la guía →
Cómo decidir cuándo un agente debe sustituirse por reglas convencionales
Sustituye una decisión del agente por reglas cuando sus entradas y condiciones ya están suficientemente definidas y puedes verificar las excepciones.
Leer la guía →
Cómo cerrar un servicio de agente sin dejar procesos pendientes
Cierra el servicio siguiendo cada tarea hasta un estado verificable antes de retirar las conexiones.
Leer la guía →