Alucinación: por qué la IA miente con seguridad

Una alucinación es cuando una IA se inventa algo falso, pero suena como si fuera totalmente cierto.

¿Qué es esto?

Una alucinación es una afirmación falsa de una IA que suena segura y convincente. Por ejemplo, la IA se inventa un libro, una ley o una función de una librería que no existe, y lo formula como si fuera un hecho.

¿Por qué pasa esto?

Un LLM predice, palabra por palabra, cuál es la palabra más probable a continuación (mira LLM). No tiene ninguna "casilla de verdad" incorporada. Si no conoce la respuesta real, igualmente rellena el hueco con texto que suena plausible, porque "sonar plausible" es exactamente para lo que fue entrenado.

¿Cuándo pasa más a menudo?

Con datos muy específicos (nombres, cifras, citas)
Con preguntas sobre cosas posteriores a la fecha de corte del entrenamiento
Con temas de nicho con pocos datos de entrenamiento
Cuando se pregunta por cosas que no existen ("dime la función X de la librería Y")

¿Qué ayuda contra esto?

Dar a la IA fuentes o documentos reales como contexto en vez de dejarla adivinar
Verificar siempre los datos importantes, sobre todo cifras, citas, nombres de API
Pedirle a la IA que diga cuándo no está segura, en vez de adivinar