Cómo medir si un agente conserva los compromisos de una conversación

Construye una referencia de compromisos

Una persona autorizada identifica cada compromiso explícito y su mensaje de origen. Separa una propuesta de una obligación aceptada y una fecha orientativa de un plazo acordado. Registra quién debe hacer qué, para quién y con qué condición. Si el origen es ambiguo, la salida esperada debe pedir aclaración, no crear una promesa para completar la tabla.

Prueba cambios que invalidan lo anterior

Prepara secuencias con rectificación de fecha, cancelación, cambio de responsable y condición pendiente. Comprueba el resultado al principio, después de cada cambio y al reabrir el caso. En un ejemplo hipotético, “te llamaré mañana” puede quedar sustituido por “prefiero un correo el viernes”. Contar ambos como pendientes fabrica trabajo y puede contrariar la preferencia expresada.

Mide errores con denominadores claros

Cuenta compromisos vigentes recuperados frente a los esperados, compromisos inventados y cancelados que reaparecen. Separa errores de responsable y plazo, porque su consecuencia operativa difiere. Presenta número de conversaciones y obligaciones revisadas; no anuncies una tasa general a partir de unos pocos casos limpios. Revisa muestras largas y cortas para descubrir pérdidas al resumir el historial.

Comprueba el uso posterior, sin ejecutarlo

Pide al agente preparar una lista de seguimiento en un entorno de ensayo y contrástala con la referencia. Una tarea correcta debe apuntar al compromiso vigente y conservar su condición. No conectes automáticamente recordatorios o envíos solo porque la extracción sea aceptable. Asigna quién confirma el compromiso antes de escribirlo en el sistema operativo y quién corrige salidas previas. Repite los casos fallidos tras la reparación; una mejora de estilo no resuelve una obligación olvidada.

Si una obligación depende de otro evento, registra esa dependencia en la referencia. “Enviar el informe cuando lleguen los resultados” no equivale a una tarea vencida hoy. Evalúa que el agente mantenga la condición sin inventar una fecha para completar el seguimiento.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.
• OpenAI — Conversation state — La persistencia del estado conversacional depende de la API y de la aplicación.