Cómo evaluar códigos de producto parecidos con pares mínimos

Elige confusiones con efecto real

Pide al responsable del catálogo ejemplos de códigos vecinos, sufijos, tamaños y embalajes que puedan confundirse. Usa una instantánea autorizada del catálogo y registra las equivalencias válidas para la prueba. No mezcles esta evaluación con la confirmación de un pedido real: aquí necesitas saber si una nueva versión distingue referencias bajo condiciones controladas. Conserva también los códigos retirados cuando sean relevantes para detectar sustituciones no permitidas.

Forma pares mínimos

En un ejemplo hipotético, dos fichas comparten descripción pero una termina en A y otra en B. Crea entradas equivalentes que cambien solo ese sufijo y comprueba que la salida cambia de referencia. Añade variantes visuales, como cero y letra O, si aparecen en los documentos utilizados. Conserva ceros iniciales y no autorices normalizaciones que borren un carácter significativo. El valor esperado debe revisarlo alguien que conozca el catálogo.

Puntúa identificación y abstención

Separa coincidencia exacta, referencia equivocada y pendiente por ambigüedad. Añade un caso sin el sufijo decisivo cuya respuesta esperada sea pedirlo o derivar. Un sistema que siempre elige uno de los productos puede parecer útil en entradas completas y resultar peligroso en las incompletas. Registra además si recuperó la ficha correcta y luego cambió el código al redactar; eso requiere una corrección distinta de una búsqueda defectuosa.

Compara por familia de confusión

Calcula resultados por sufijo, longitud, unidad y calidad de lectura. No presentes solo el promedio de todo el catálogo: las familias con pocas muestras pueden concentrar errores importantes. Repite los mismos pares al cambiar instrucciones o recuperación y añade referencias nuevas en una reserva de evaluación. La prueba termina cuando puedes señalar qué diferencias se preservan, cuáles fallan y qué entradas permanecerán bloqueadas; no demuestra que cualquier SKU futuro se reconocerá correctamente.

Fuentes y documentación

• OpenAI · Evaluation best practices — Evaluaciones específicas de la tarea; la rúbrica y los ejemplos del artículo son propuestas operativas propias.
• NIST · AI RMF Core — Marco voluntario para documentar medidas y límites de la evaluación.