Cómo verificar una respuesta de IA frente a tus documentos o políticas

Tienes una política, un contrato, un manual o un conjunto de datos aprobados. Un asistente responde a una pregunta sobre ello. La cuestión es si la respuesta es lo que dice el documento. Esta guía da un método que puedes aplicar a mano hoy, explica qué detecta y qué deja pasar cada paso, y es clara sobre lo que Satcove hace y no hace aquí.

¿Por qué «leyó mi documento» no basta?

Porque resumir un texto dado es en sí mismo una fuente de errores. El Vectara Hallucination Leaderboard mide justo eso: con qué frecuencia un modelo añade información que no está en un documento que debía resumir. En su última actualización (2026-10-22, 111 modelos), las tasas van del 1,8 % para el mejor modelo al 24,2 % para el peor, y los modelos de OpenAI listados van del 3,1 % al 23,3 %. Son tasas sobre los documentos tipo noticia de ese benchmark, no sobre tu política, pero la lección se mantiene: aportar la fuente reduce el riesgo sin eliminarlo.

Cuatro tipos de fallo importan al verificar frente a un documento:

• Contenido inventado. Una cifra, un plazo o una cláusula que no está en la fuente.
• Cita real, sentido equivocado. La frase existe, pero no respalda la afirmación, o el modelo omitió una excepción.
• Omisión. La respuesta es cierta pero deja fuera la condición que cambia la decisión.
• Fuente equivocada o desactualizada. El modelo usó una versión antigua, otra política o su propia memoria en vez de tu texto.

¿Cómo se verifica una respuesta de IA frente a una fuente oficial?

1. Fija la fuente y su versión

Decide qué documento es la autoridad y anota su nombre, versión y fecha. Pon el texto en el prompt, o adjúntalo, para que el modelo no responda de memoria. Si la política cambió el trimestre pasado, el PDF antiguo en la carpeta de alguien es la causa más probable de una respuesta errónea.

2. Haz que la respuesta cite sus pruebas

Pide un formato corto y rígido: la respuesta en una o dos frases y, por cada afirmación, la frase exacta del documento entre comillas, con la sección o la página. Añade la regla que más importa: «Si el documento no lo dice, escribe NO ESTÁ EN EL DOCUMENTO. No adivines.» Una afirmación sin cita es una afirmación en la que no confías.

3. Comprueba que cada cita existe, palabra por palabra

Este paso es mecánico y detecta el contenido inventado. Busca cada cadena citada en el texto fuente. Una cita que no aparece, aunque esté ligeramente reformulada, es una señal de alerta. Un script corto que compruebe si cada cadena citada es una subcadena del documento lo hace en segundos, y una simple búsqueda en el documento lo hace a mano.

4. Comprueba que la cita respalda la afirmación

Este es el paso que peor hacen las máquinas, así que una persona debería hacerlo en todo lo importante. Lee la cita y la afirmación una junto a otra y plantea tres preguntas. ¿Dice la cita lo que dice la afirmación? ¿Una excepción, una condición o una fecha del texto vecino la cambia? ¿Una cifra es la misma cifra? Un segundo modelo puede servir de primer filtro, pero comparte puntos ciegos con el primero, así que úsalo para ordenar qué afirmaciones leer, no para aprobarlas.

5. Compara modelos y lee dónde se dividen

Haz a dos o tres modelos distintos la misma pregunta sobre el mismo documento, con las mismas reglas de cita. Donde coinciden, la probabilidad de error es menor pero no nula: en nuestra propia prueba de 2.500 preguntas, las respuestas en las que todos los modelos coincidían fueron correctas el 94,0 % de las veces, y erróneas en 73 de 1.221 casos. Donde difieren, has encontrado el pasaje exacto que leer. Es el uso más barato de varios modelos.

¿Qué detecta cada control?

¿Qué herramientas pueden ayudar?

Existen tres tipos, y hacen trabajos distintos.

• Las funciones de recuperación y cita de asistentes y herramientas documentales muestran de qué pasaje salió una respuesta. Ayudan con el paso 2, pero siguen haciendo falta los pasos 3 y 4.
• Los modelos de puntuación de fidelidad estiman si un resumen está respaldado por su fuente. HHEM de Vectara, el evaluador detrás de la clasificación anterior, es un ejemplo. Trata una puntuación como un filtro, no como un veredicto.
• Los flujos de revisión humana para decisiones reguladas o de alto impacto, donde una persona con nombre da el visto bueno.

Para un método manual que sirve con cualquier respuesta, mira nuestra guía de cómo contrastar respuestas de IA y la página de fiabilidad de las respuestas de IA.

¿Qué hace Satcove aquí, y qué no?

Satcove no comprueba una respuesta de IA frente a tus políticas privadas, y es mejor decirlo claramente.

• Consenso. Haz la misma pregunta a seis modelos y mira dónde coinciden y dónde se dividen, con una puntuación de acuerdo. En el chat de Cove puedes adjuntar un documento y lanzar la pregunta a los modelos. Úsalo para el paso 5. El acuerdo no es una prueba.
• Verify. Satcove Verify comprueba los valores de un CSV fila por fila frente a fuentes web en vivo, con un estado confirmado, divergente o no verificado por campo. No lee PDF ni texto libre, así que no sirve para comprobar respuestas frente a una política privada.
• Privacidad. Antes de subir documentos sensibles, lee qué puede y qué no puede cubrir el Privacy Shield. La detección automática puede pasar por alto identificadores contextuales.

Para equipos que necesitan comprobar respuestas de IA frente a fuentes internas a gran escala, mira Satcove para empresas. Los cinco pasos de arriba funcionan sin ninguna herramienta.