promptgarden 🌱
🌍 DE
术语●○○3 分钟 · +20 XP

幻觉:AI 为什么会自信地胡说

幻觉,是指 AI 编造出错误的内容,却说得像是绝对真实一样。

这是什么?

幻觉是 AI 说出的一句错误陈述,但听起来自信又有说服力。比如,AI 可能编造出一本根本不存在的书、一部不存在的法律,或某个库里根本没有的函数——而且说得跟事实一样。

为什么会发生?

LLM 逐词预测最可能出现的下一个词(参见 LLM 词条)。它没有内置的“真假判断器”。如果它并不真正知道正确答案,它仍然会用听起来合理的文字把空白填上——因为“听起来合理”正是它被训练要做到的事。

什么情况下最容易发生?

  • 涉及非常具体的事实时(人名、数字、引文)
  • 询问训练截止日期之后的事情时
  • 涉及训练数据很少的冷门话题时
  • 被问到根本不存在的东西时(比如“库 Y 里的函数 X 是做什么的”)

怎么应对?

  • 给 AI 真实的资料/文档作为上下文,而不是让它猜
  • 重要事实一定要交叉核实(尤其是数字、引文、API 名称)
  • 让 AI 明确说出不确定,而不是硬猜

示例

问题:“引用一下(虚构的)XYZ 法第 5 条。”一个产生幻觉的 AI 会编出一段听起来合理的文字,而不是说:“这部法律根本不存在。”

小测验

LLM 为什么会产生幻觉?

来源

相关主题

什么是 LLM? ●○○模式:喂上下文,而不是含糊地问 ●○○模式:先计划,再写代码 ●●○