Cómo lograr que un asistente de IA se abstenga si falta una fuente
Prueba la respuesta ante una fuente ausente retirando el fragmento de apoyo, revisando las citas y verificando una derivación útil.
Read in English
Un asistente empresarial puede parecer útil mientras responde una pregunta que sus fuentes no resuelven. Imagina que un empleado consulta si cierto servicio está disponible los sábados. La guía proporcionada explica los horarios de lunes a viernes, pero no dice nada del fin de semana. Una respuesta fluida no sustituye esa regla ausente.
Diseña la respuesta ante información insuficiente como parte de la función. Debe ofrecer un siguiente paso útil: explicar qué no pudo establecerse, identificar el dato necesario y dirigir la consulta a la persona adecuada sin inventar una respuesta.
Ilustración conceptual generada con IA; no es una captura de un cliente.
Define con precisión qué evidencia hace falta
Para este asistente ficticio de horarios, considera respondible una pregunta cuando existe una guía aprobada y vigente que cubre el servicio y la ubicación solicitados. Un documento de otra sucursal no cumple el requisito solo porque contiene palabras parecidas.
La guía de Anthropic para reducir alucinaciones recomienda permitir la incertidumbre, limitar las respuestas al material proporcionado y contrastar las afirmaciones con citas de apoyo. Son instrucciones útiles, pero no garantizan que todas las respuestas estén respaldadas.
Conviértelo en una regla de aceptación: quien revise debe poder abrir la fuente citada y encontrar respaldo para esa afirmación concreta. Un enlace al documento correcto con una conclusión equivocada también falla.
Responde de forma distinta a cada carencia
- Falta contexto: si necesitas la ubicación, pregunta a cuál se refiere el empleado.
- Falta respaldo: indica que la guía disponible no establece la disponibilidad de los sábados.
- Hay contradicciones: explica que las fuentes aprobadas disponibles discrepan y deriva la consulta para resolverla.
- Falla el acceso a la fuente: informa que no pudiste comprobar el dato; un documento inaccesible no equivale a una respuesta negativa.
Limita los mensajes a lo que el usuario tiene permiso para ver. El asistente no debe revelar el contenido ni la existencia de un documento restringido solo para explicar por qué no puede responder.
Prueba retirando el fragmento que respalda la respuesta
Crea una guía ficticia con una regla explícita para los sábados y formula una pregunta concreta. Guarda la respuesta esperada y el fragmento que la respalda. Después elimina únicamente ese fragmento y repite la pregunta en una conversación nueva. El segundo resultado debe reconocer la carencia, sin repetir la respuesta anterior desde el historial.
Añade una guía de otra ubicación, una versión antigua y un párrafo irrelevante que contenga la palabra “sábado”. Decide el resultado correcto de cada caso antes de ejecutar la prueba. Incluye otra guía vigente que contradiga la primera y un fallo simulado de recuperación de información. Son casos de aceptación propuestos, no resultados observados en un sistema de un cliente.
Conserva también preguntas que la guía aprobada sí permite responder. Una función que rechaza todo evita algunas afirmaciones sin respaldo, pero no cumple su propósito. Evalúa por separado las respuestas infundadas y las abstenciones innecesarias.
Haz útil la derivación
Una respuesta podría decir: “No pude confirmar la disponibilidad de este servicio los sábados en la guía vigente. Pide al coordinador de horarios que lo compruebe”. Si el producto ofrece un botón para crear una solicitud, muestra la pregunta y su destino antes de enviarla.
Define qué hace realmente ese botón. No muestres “enviado al coordinador” hasta que la solicitud se haya creado correctamente. Conserva juntos la pregunta original, la ubicación correspondiente y el motivo de la derivación para que el empleado no tenga que explicarlo todo de nuevo.
Revisa el comportamiento antes del lanzamiento
Registra en cada caso si el asistente respondió, pidió contexto o se abstuvo; si la fuente respaldaba la respuesta; y si funcionó el siguiente paso. Repite los casos cuyo comportamiento varíe y conserva los fallos. La persona responsable del proceso debe decidir qué casos pendientes impiden lanzar la función.
Contacta con Dynelink para definir requisitos de fuentes, respuestas ante información insuficiente y derivaciones verificables para un asistente de IA en tu proceso empresarial.