Cómo probar que un resumen con IA conserva preguntas pendientes

Un traspaso breve puede sonar concluyente y perder justo la pregunta que todavía bloquea el trabajo. Si una fuente indica que una fecha está propuesta pero sin confirmar, un resumen que la presenta como programada cambia su significado. La prueba no consiste solo en comprobar que el párrafo se lee bien.

Para un resumen con IA utilizado en operaciones, define qué hechos pendientes deben conservarse al condensar la información. El ejercicio siguiente usa notas ficticias y ejemplos redactados manualmente de frases aceptables e inaceptables. Es una propuesta de evaluación, no un resultado medido ni una afirmación sobre un modelo concreto.

Ilustración conceptual generada con IA; no es una captura de un cliente.

Define primero la decisión del traspaso

Elige una tarea, como resumir una conversación sobre una solicitud para el siguiente operador. Determina qué necesita saber antes de actuar: qué está confirmado, qué es una propuesta, qué afirmaciones se contradicen y qué decisiones siguen pendientes.

La guía de evaluación de Anthropic recomienda criterios específicos y medibles, vinculados al propósito de la aplicación. En este ejercicio, convierte “resumen preciso” en un requisito revisable: ninguna aprobación pendiente puede convertirse en una acción aprobada y cada pregunta definida como bloqueante debe seguir visible.

Acuerda esas preguntas antes de revisar la salida. De lo contrario, los revisores pueden premiar un párrafo bien escrito y pasar por alto que responde a otra pregunta operativa.

Prepara fuentes pequeñas con incertidumbre deliberada

Utiliza notas claramente ficticias con referencias estables:

• Nota A: El cliente solicita una visita el jueves. La persona coordinadora aún no confirma disponibilidad.
• Nota B: Un mensaje indica que la puerta abre a las 08:00 y otro a las 09:00. Ninguno está identificado como corrección.
• Nota C: Podría necesitarse una pieza. La inspección no se ha realizado y no hay ninguna compra aprobada.
• Nota D: La persona coordinadora comprobará disponibilidad. Nadie tiene asignada la discrepancia sobre la apertura.

Registra aparte la interpretación esperada: el jueves está solicitado, el horario de acceso es contradictorio, la necesidad de la pieza es condicional y un seguimiento no tiene responsable. No consideres autoritativo el mensaje más reciente salvo que la fuente o el proceso acordado establezca esa regla.

Revisa por separado respaldo y cobertura

Las plantillas de evaluación de preguntas y respuestas de Google Cloud distinguen el respaldo en el contexto de la integridad de la información. La respuesta debe sustentarse en sus fuentes y cubrir los puntos requeridos. Esa diferencia explica por qué un resumen puede evitar invenciones y aun así omitir un bloqueo importante.

Usa una ficha con una fila por punto requerido. Anota su referencia de origen, la frase correspondiente del resumen y un resultado: conservado, omitido, contradicho o expresado con más certeza que la fuente. Distingue “no aparece” de “no es necesario”.

Una frase ilustrativa aceptable sería: “Se solicita el jueves, pendiente de confirmar disponibilidad; persiste la discrepancia sobre el horario de acceso”. Una inaceptable sería: “La visita está reservada para el jueves a las 09:00”. La segunda inventa una confirmación y resuelve una contradicción sin evidencia.

Separa próximos pasos y hechos de la fuente

El resumen puede sugerir pedir confirmación del horario de apertura. Identifícalo como siguiente paso propuesto. No debe afirmar que alguien aceptó esa responsabilidad cuando las notas no se la asignan.

Pide revisar palabras que expresan certeza: solicitado, previsto, confirmado, aprobado, posible y completado tienen significados distintos. Comprueba también las negaciones. “No hay compra aprobada” no puede transformarse en “Compra aprobada” ni desaparecer si la restricción importa para el traspaso.

Si el formato incluye responsable o fecha límite, permite valores como “sin asignar” o “no indicada”. Exigir un campo completo no debe llevar al sistema a inventar un nombre o un plazo.

Prueba cambios pequeños sin cambiar la pregunta

1. Mueve la nota pendiente al principio o al final de las fuentes y comprueba si sigue representada.
2. Añade una corrección explícita que resuelva el horario de acceso. Verifica que el resumen actualice el dato y deje de presentar ese conflicto concreto como pendiente.
3. Retira la asignación del responsable de disponibilidad. Confirma que la salida no conserve un responsable de una versión anterior.
4. Pide un resumen más corto. Comprueba que los bloqueos designados sobrevivan aunque se elimine contexto secundario.

Conserva la versión de las fuentes, las instrucciones, el identificador del modelo y los ajustes disponibles junto con cada salida observada. Revisa varias salidas cuando el sistema pueda variar entre ejecuciones. Informa de los casos realmente probados y los fallos encontrados; un ejemplo correcto no demuestra fiabilidad para todas las solicitudes.

Decide qué ocurre cuando la revisión falla

Para este proceso, exige revisión humana antes de que un resumen incierto provoque una programación o compra. Conserva referencias a las fuentes para que el revisor resuelva discrepancias sin adivinar a partir del texto condensado. Registra la corrección y añade un fallo representativo al siguiente conjunto de evaluación.

Contacta con Dynelink para definir una evaluación concreta de los resúmenes con IA utilizados en los traspasos operativos de tu equipo.