Cómo evaluar un resumen de una conversación de soporte

Define qué necesita el siguiente operador

Prepara una ficha con problema comunicado, comprobaciones realizadas, resultado, estado actual y siguiente acción. Incluye compromisos con responsable y fecha si existen. No obligues a todas las conversaciones a rellenar campos inexistentes: “no consta” es preferible a completar una causa supuesta. El resumen no debe reproducir datos personales irrelevantes para continuar el caso.

Puntúa hechos y omisiones por separado

Selecciona conversaciones autorizadas con correcciones, reaperturas y mensajes contradictorios. Para cada hecho crítico, marca el fragmento que lo respalda. Cuenta invenciones y omisiones de forma independiente; una respuesta puede acertar todo lo que dice y aun así dejar fuera el dato que cambia la intervención. Distingue error de fecha, atribución de autor, negación y estado del caso.

Usa una revisión que pueda discrepar

Pide a dos personas que revisen una pequeña muestra con la misma pauta antes de ampliar. Si una considera “resuelto” un caso que la otra ve pendiente, aclara el criterio y vuelve a etiquetar. Un evaluador automático puede ordenar candidatos, pero contrástalo con esa referencia humana. No confundas coincidencia de palabras con conservación del sentido: varias redacciones pueden servir al operador.

Prueba la utilidad en el relevo

En un ejercicio sin efectos sobre clientes, entrega solo el resumen y pregunta qué haría la persona a continuación. Compara con lo que permite la conversación. Si pediría de nuevo una prueba ya realizada o cerraría un compromiso pendiente, corrige la pauta. Registra ejemplos rechazados y versión del resumidor. Al cambiar la plantilla, repite casos de negaciones y rectificaciones, además de los normales; conservar la longitud media no acredita conservar la calidad.

Incluye conversaciones donde el cliente corrige al operador y donde el operador rectifica su propia hipótesis. El resumen debe conservar la corrección vigente y atribuirla correctamente; mezclar las dos versiones puede hacer que el siguiente equipo repita el diagnóstico descartado.

Fuentes y documentación

• OpenAI — Evaluation best practices — Referencia sobre evaluación específica de tarea y contraste con revisores humanos.