Cómo versionar un cambio de instrucciones de IA con una prueba repetible

Un pequeño cambio de instrucciones puede alterar cómo una función de IA trata casos que antes resolvía correctamente. Antes de sustituir un prompt, permite comparar la versión actual y la propuesta y reúne evidencia suficiente para que una persona decida si el cambio es aceptable.

Este es un ejercicio propuesto de lanzamiento para un asistente ficticio de clasificación de solicitudes. Describe un plan de pruebas, no una prueba realizada para un cliente ni mejoras medidas. El asistente sugiere una cola; una persona conserva la responsabilidad de decidir el destino de la solicitud.

Describe el cambio en una frase

Supongamos que las instrucciones actuales asignan solicitudes a facturación, soporte técnico o revisión general. Una revisión propuesta aclara qué hacer cuando un mensaje contiene dos solicitudes sin relación entre sí. Registra esa intención específica antes de editar. Deja los cambios independientes de tono, formato de salida o modelo para comparaciones separadas.

Google describe el diseño de prompts como un proceso iterativo y recomienda perfeccionar las instrucciones según las respuestas observadas. Eso respalda comprobar una revisión con ejemplos; no demuestra que una redacción concreta vaya a mejorar tu aplicación. Consulta la guía de diseño de prompts de Google.

Conserva un registro que identifique ambas versiones

• Prompt: guarda las instrucciones completas actuales y propuestas, sus identificadores de versión y el motivo del cambio.
• Contexto de ejecución: registra el identificador del modelo, la información de versión disponible, los ajustes de generación y la configuración de la aplicación. Anota lo que el proveedor no expone o no permite mantener constante.
• Entradas: fija un conjunto identificado de casos sintéticos o aprobados, con los datos sensibles debidamente ocultados. Conserva la misma entrada y el mismo contexto de apoyo para cada comparación.
• Evaluación: versiona las reglas de aceptación, el tratamiento esperado y las notas de revisión junto con los casos.

Un procedimiento repetible no promete una redacción generada idéntica. Registra las variaciones entre intentos y aplica la misma política de intentos a ambas versiones. Si cambian también el modelo o el contexto, describe el resultado como una comparación de cambios combinados, sin atribuirlo únicamente al prompt.

Compara casos, no solo un total

Estas comprobaciones se proponen para el cambio ficticio de clasificación. Sus resultados esperados son decisiones del negocio que deben aprobarse antes de recopilar respuestas, no garantías del proveedor.

• Una solicitud clara de facturación: conserva la sugerencia establecida de facturación.
• Una solicitud técnica clara: conserva la sugerencia establecida de soporte técnico.
• Dos solicitudes sin relación: sigue la nueva regla aprobada, por ejemplo, sugerir revisión general e identificar ambas solicitudes.
• Información insuficiente: conserva la ruta de revisión aprobada en vez de inventar el dato que falta.

Guarda ambas respuestas de cada caso, la regla aplicable y la decisión de la persona revisora. Separa las mejoras del caso objetivo de las regresiones en otros casos. Anthropic distingue las evaluaciones de nuevas capacidades de las evaluaciones de regresión que protegen el comportamiento existente en su guía de evaluación de agentes de IA. La misma distinción resulta útil al planificar esta comparación más acotada de prompts.

Decide qué bloquea el lanzamiento antes de ver los resultados

Para este ejercicio, propón bloquear una revisión que pierda una ruta de revisión obligatoria o incumpla el contrato establecido de salida. La persona responsable debe aprobar primero esos criterios. No cambies después las reglas solo para que la nueva versión apruebe. Registra los casos discutidos y resuélvelos expresamente.

Conserva disponibles las instrucciones y la configuración previamente aprobadas, identifica quién puede aprobar un lanzamiento o una reversión y define qué evidencia motivaría esa decisión. Superar un conjunto de ejemplos respalda una decisión de alcance limitado; no demuestra el rendimiento ante todas las solicitudes futuras ni ahorros para el negocio.

Prepara una propuesta de cambio revisable

Lleva las instrucciones actuales, el cambio propuesto, los casos fijados, las reglas de aceptación y las dudas pendientes a una conversación técnica. Contacta con Dynelink para conversar sobre el alcance de tu integración de IA.

Ilustración conceptual generada con IA; no es una captura de un cliente.