Qué es una alucinación de la IA y por qué es inevitable

Qué es una alucinación de la IA, por qué nace del propio mecanismo del modelo y qué implica para tu negocio antes de confiarle una tarea.

Qué es una alucinación de la IA y por qué es inevitable

Una alucinación de la IA es cuando el sistema afirma con total seguridad algo que es falso. No avisa, no duda, no baja el tono. La respuesta inventada suena exactamente igual de convincente que la respuesta correcta. Y esto no es un defecto que “ya arreglarán en la próxima versión”: nace de cómo funciona la herramienta por dentro.

Si estás pensando en meter IA en tu empresa (atención al cliente, redacción de documentos, resúmenes, búsquedas internas), esto es lo primero que necesitas entender. No para asustarte y no usarla. Para usarla sabiendo dónde puede darte un disgusto.

¿Qué es exactamente una alucinación de la IA?

Es una respuesta plausible y falsa. El sistema te da un dato, una cita, una cifra o una política que no existe, y lo hace con el mismo aplomo con el que te da algo verdadero.

Antes de seguir, dos palabras que vas a leer todo el rato. Un LLM (modelo de lenguaje grande, del inglés large language model) es el motor detrás de herramientas como ChatGPT: un programa que genera texto. Un token es cada trocito de texto que ese motor maneja, más o menos una palabra o parte de una palabra. Cuando escribes una pregunta, el modelo la parte en tokens y va produciendo la respuesta token a token.

La clave está en cómo la produce. El modelo no busca la respuesta en ningún archivo ni la comprueba contra una base de datos de hechos. Lo que hace es calcular, en cada paso, qué palabra es la más probable que venga a continuación, según los patrones que aprendió leyendo cantidades enormes de texto. Es un motor de continuación estadística, no una enciclopedia con buscador.

Casi siempre eso produce respuestas correctas, porque lo más probable estadísticamente suele coincidir con lo verdadero. Pero no siempre. Cuando el patrón más probable no coincide con la realidad, el modelo escribe la versión probable igual de tranquilo. Eso es una alucinación.

Por qué es inevitable

Piensa en un examen en el que está prohibido dejar preguntas en blanco. Da igual que no te sepas la respuesta: tienes que escribir algo, y algo que suene bien. Un alumno en esa situación no dice “no lo sé”. Rellena con lo que le parece más razonable y sigue adelante.

Un modelo de lenguaje funciona así por diseño. Siempre genera la continuación más probable, porque generar texto probable es literalmente lo único que sabe hacer. No tiene un botón interno de “esto no me consta”. No distingue entre “lo sé de verdad” y “esto encaja con el patrón”. Para el mecanismo, las dos cosas son lo mismo: texto que fluye de forma verosímil.

Por eso las alucinaciones no son un fallo que se pueda parchear del todo. Vienen de la naturaleza misma de la herramienta. Un modelo que nunca inventara nada tendría que saber, en cada respuesta, dónde termina su conocimiento fiable y empieza la conjetura. Y eso es justo lo que su forma de funcionar no le permite hacer con garantías.

El modelo parte la pregunta en tokens y genera la respuesta palabra a palabra eligiendo la más probable, sin consultar hechos; cuando lo probable no coincide con la realidad, aparece la alucinación.
El modelo elige siempre la palabra más probable, no la verificada. Cuando lo probable no coincide con la realidad, escribe la versión inventada con el mismo aplomo.

Aquí conviene una matización honesta, porque este es un blog sin hype y no voy a venderte catástrofes. Los modelos actuales alucinan bastante menos que los de hace un par de años, y hay técnicas que reducen mucho el problema en tareas concretas. Reducir no es eliminar. Mientras el motor sea predicción de lo probable, la posibilidad de que se invente algo con cara de verdad sigue ahí. Si quieres el detalle de cómo el modelo genera texto por dentro, lo explico en cómo funciona la IA generativa.

Dos casos reales que acabaron en los tribunales

No hace falta imaginarse el problema. Ya ha costado dinero y disgustos a organizaciones reales.

En febrero de 2024, un tribunal de Canadá dio la razón a un cliente contra Air Canada. El asistente automático de la web de la aerolínea le había descrito mal una política de tarifas por duelo, diciéndole que podía pedir el descuento después de comprar el billete. No era cierto. La aerolínea alegó que no debía responder por lo que dijera su asistente. El tribunal no lo aceptó: la información estaba en su web, el cliente confió en ella de buena fe y la empresa fue considerada responsable. Tuvo que compensarle.[1]

El segundo caso es más llamativo todavía. En 2023, en Estados Unidos, unos abogados presentaron un escrito ante el juez apoyándose en varias sentencias anteriores. El problema: esas sentencias no existían. Las había generado ChatGPT, con nombres de casos, citas y números de expediente de aspecto perfectamente creíble. Cuando la otra parte y el juez fueron a buscarlas, no aparecían por ningún sitio. El juez sancionó a los abogados. El caso, conocido como Mata contra Avianca, se ha convertido en el ejemplo de referencia de lo que pasa cuando alguien se fía de una respuesta de IA sin verificarla.[2]

Fíjate en el patrón común. En los dos casos la IA no falló de forma obvia. Falló de forma convincente. Nadie sospechó a tiempo porque la respuesta inventada tenía exactamente la misma pinta que una respuesta buena.

Qué no arregla el problema

Esperar a la siguiente versión del modelo ayuda, pero no cierra el asunto. Cada generación alucina algo menos, y aun así ninguna llega a cero. Comprar el modelo más caro y más potente tampoco es una garantía: un modelo mejor se equivoca menos veces, pero cuando se equivoca lo hace con la misma seguridad. A veces con más, porque suena aún más profesional.

Tampoco lo resuelve pedirle por favor que no mienta. Puedes escribir en las instrucciones “no inventes nada, si no lo sabes dilo”. El modelo obedecerá muchas veces. Pero como no tiene forma fiable de saber cuándo está inventando, esa instrucción no es un candado. Es una recomendación que unas veces sigue y otras no.

Lo que de verdad reduce el riesgo es cambiar cómo lo usas, no qué modelo compras. Y eso sí está en tu mano.

Qué puedes hacer como responsable de negocio

La decisión importante no va de usar IA o no, sino de para qué tarea y con qué red de seguridad la usas. El riesgo de una alucinación no es igual en todas partes: depende de lo que cueste equivocarse y de si alguien revisa antes de que el error llegue al cliente.

Riesgo de alucinaciónTareas típicasPor qué
AltoDatos legales o financieros, consejo médico, políticas de tu empresa, cifras que van a un contratoUn dato inventado tiene consecuencias reales y directas, a veces legales
MedioAtención al cliente automática, resúmenes que alguien reenvía sin leer, respuestas que se publican tal cualEl error puede colarse hasta el cliente si nadie lo revisa antes
BajoPrimer borrador de un texto que un humano va a reescribir, lluvia de ideas, reformular algo que tú ya conocesTú eres el filtro; la IA propone y tú corriges antes de que salga
Triage de riesgo de alucinación: a mayor coste del error, más obligatoria la revisión humana antes de usar la respuesta.
La decisión no es usar IA o no, sino qué revisión necesita cada tarea. Cuanto más caro el error, más obligatoria la revisión humana antes de publicar.

De esa tabla salen unas cuantas reglas prácticas. La primera: cuanto más caro sea el error, más obligatorio es que un humano revise antes de publicar o enviar. La segunda: acota el terreno. Un sistema que solo responde a partir de tus propios documentos (tu catálogo, tus políticas, tus manuales) se inventa mucho menos que uno al que le preguntas de todo a pelo. La tercera: desconfía especialmente de datos concretos que suenan muy exactos, como fechas, nombres propios, importes o referencias legales. Son justo donde una alucinación hace más daño y donde más fácil es detectarla si alguien mira.

Nada de esto va de tecnología. Va de criterio: saber para qué tarea es razonable delegar en la IA, qué revisión necesita cada caso y cuándo la respuesta tiene que pasar sí o sí por una persona. Ese criterio se entrena, y es exactamente lo que trabajamos en el curso de IA sin hype: usar estas herramientas con la cabeza, sabiendo dónde ayudan de verdad y dónde te la juegan.

Si esto te resulta útil y quieres el resto de la serie sobre IA sin humo directamente en tu correo, aquí lo puedes dejar:

Un concepto nuevo cada semana

Para entender mejor la raíz del problema, te vienen bien dos lecturas cercanas: por qué la IA se equivoca, que va más allá de las alucinaciones, y el determinismo de la IA explicado, sobre por qué la misma pregunta puede darte respuestas distintas.

Fuentes

  1. BC Tribunal Confirms Companies Remain Liable for Information Provided by AI Chatbot (American Bar Association): resolución del caso Moffatt contra Air Canada (febrero de 2024) que responsabiliza a la empresa por la información errónea de su asistente automático.
  2. Mata v. Avianca, Inc. (Wikipedia): resumen del caso de 2023 en el que un juez de Nueva York sancionó a los abogados por presentar sentencias inexistentes generadas por ChatGPT.

Preguntas frecuentes

¿Una alucinación de la IA es lo mismo que una mentira?

No, aunque el resultado se parezca. Mentir implica saber la verdad y decir otra cosa a propósito. La IA no sabe que se está equivocando: genera la respuesta que le parece más probable y no distingue entre lo que es cierto y lo que solo suena bien. Por eso es más útil pensarlo como un dato inventado sin intención que como un engaño.

¿Se pueden eliminar del todo las alucinaciones?

No con la tecnología actual. Se pueden reducir bastante acotando el tema, dándole a la IA buenas fuentes de las que partir y revisando las respuestas importantes, pero no bajar a cero. Mientras el sistema funcione prediciendo el texto más probable, siempre queda la posibilidad de que invente algo con apariencia de verdad.

¿Qué es una alucinación de la IA en una frase para explicárselo a mi equipo?

Es cuando la herramienta te da una respuesta falsa con la misma seguridad con la que te daría una correcta, y sin ninguna señal que te avise. Por eso la regla práctica es sencilla: cualquier dato que vaya a tener consecuencias (un importe, una fecha, una cláusula, una promesa a un cliente) lo revisa una persona antes de usarlo.

¿Los modelos más caros alucinan menos?

Suelen equivocarse menos veces, sí, pero no dejan de hacerlo. Y cuando se equivocan, un modelo más avanzado suele sonar aún más profesional y seguro, lo que hace el error más difícil de pillar. Pagar más reduce la frecuencia, no te quita la necesidad de revisar.