Cómo crear un conjunto de evaluación para una extracción con IA

Una función de IA que copia información de un documento a un formulario necesita responder una pregunta básica: ¿qué debe contener cada campo? Una demostración convincente con un documento limpio no responde por los valores ausentes, los escaneos ilegibles o los formatos desconocidos.

Prepara un conjunto inicial pequeño de evaluación antes de aceptar la función. Sirve para descubrir desacuerdos sobre el resultado esperado y reproducir los errores. Es una ayuda para diseñar la solución, no una prueba de fiabilidad para todos los documentos del negocio.

Ilustración conceptual generada con IA; no es una captura de un cliente.

Define el resultado antes de reunir ejemplos

Elige un tipo de documento y una lista breve de campos. En una solicitud ficticia de servicio podrían ser la referencia, la fecha solicitada, el nombre del lugar y el identificador del equipo. Decide de qué parte del documento procede cada dato. Separa la extracción de decisiones posteriores, como asignar un técnico o aprobar un trabajo.

Escribe una regla para los valores ausentes y otra para los ilegibles. Un identificador vacío no debe convertirse en uno verosímil inventado a partir del contexto. Si alguien debe resolver una ambigüedad, incluye “requiere revisión” como resultado explícito.

Selecciona documentos que pongan a prueba las reglas

Para el primer taller, utiliza documentos ficticios o registros aprobados para ese uso. Incluye el formato habitual, uno distinto, un campo ausente, un escaneo de mala calidad y dos valores en conflicto. Identifica los ejemplos deliberadamente difíciles para que nadie confunda su frecuencia en esta colección inicial con su frecuencia real.

La guía de conjuntos de datos de Document AI de Google recomienda pruebas representativas y mantener sus documentos fuera del conjunto de entrenamiento. En este taller inicial, anota las variaciones reales que todavía no has cubierto; amplía la evaluación antes de sacar conclusiones sobre producción.

Crea una hoja de respuestas que otra persona pueda revisar

Asigna una referencia estable a cada ejemplo y registra su versión. Para cada campo, guarda el valor esperado, la ubicación del texto que lo respalda y el motivo de cualquier revisión necesaria. Mantén la hoja de respuestas separada de lo que recibe la función de extracción.

Imagina un formulario ficticio con “fecha solicitada: 2026-10-29” en la parte superior e “impreso: 2026-10-18” al pie. La fecha solicitada esperada es el 29 de octubre. Devolver el 18 de octubre es seleccionar el campo equivocado, aunque esa fecha aparezca en el documento. Si falta la fecha solicitada en otro ejemplo, la fecha de impresión no debe sustituirla silenciosamente.

Pide a una segunda persona que revise las respuestas. Resuelve los desacuerdos antes de calificar el software; de lo contrario, la prueba podría premiar simplemente la interpretación preferida de quien la preparó.

Decide qué cuenta como coincidencia

Especifica si se aceptan espacios distintos o un formato de fecha equivalente. Conserva las diferencias relevantes: un código de equipo con un cero inicial puede identificar otra cosa si pierde ese cero. Guarda las reglas de normalización junto a las respuestas.

La documentación de evaluación de Document AI compara los campos extraídos con anotaciones y distingue precisión de exhaustividad: aciertos entre los campos devueltos frente a cobertura de los campos esperados. Revisa los resultados por campo para distinguir valores incorrectos de datos que faltan.

Convierte los hallazgos en una decisión concreta

Conserva juntos la versión del documento, la respuesta esperada, la obtenida y el tipo de error. Separa valores incorrectos, ausencias y casos enviados correctamente a revisión. Cuenta también las revisiones innecesarias, porque generan trabajo para el equipo.

Acuerda los criterios de aceptación antes de la siguiente demostración. Una referencia que determina qué registro se actualiza merece una respuesta distinta de una diferencia estética de formato. Anota los casos pendientes y sus responsables; una buena puntuación general no justifica ignorar un campo crítico.

Contacta con Dynelink para definir un proceso de extracción documental con reglas claras, ejemplos verificables y criterios de aceptación. La solicitud utilizada aquí es ficticia y no describe resultados de un cliente de Dynelink.