术语●○○3 分钟 · +20 XP
幻觉:AI 为什么会自信地胡说
幻觉,是指 AI 编造出错误的内容,却说得像是绝对真实一样。
这是什么?
幻觉是 AI 说出的一句错误陈述,但听起来自信又有说服力。比如,AI 可能编造出一本根本不存在的书、一部不存在的法律,或某个库里根本没有的函数——而且说得跟事实一样。
为什么会发生?
LLM 逐词预测最可能出现的下一个词(参见 LLM 词条)。它没有内置的“真假判断器”。如果它并不真正知道正确答案,它仍然会用听起来合理的文字把空白填上——因为“听起来合理”正是它被训练要做到的事。
什么情况下最容易发生?
- 涉及非常具体的事实时(人名、数字、引文)
- 询问训练截止日期之后的事情时
- 涉及训练数据很少的冷门话题时
- 被问到根本不存在的东西时(比如“库 Y 里的函数 X 是做什么的”)
怎么应对?
- 给 AI 真实的资料/文档作为上下文,而不是让它猜
- 重要事实一定要交叉核实(尤其是数字、引文、API 名称)
- 让 AI 明确说出不确定,而不是硬猜
示例
问题:“引用一下(虚构的)XYZ 法第 5 条。”一个产生幻觉的 AI 会编出一段听起来合理的文字,而不是说:“这部法律根本不存在。”
小测验
LLM 为什么会产生幻觉?
来源
- 维基百科:幻觉(人工智能) ↗ zh.wikipedia.org
- Anthropic 文档:减少幻觉 ↗ docs.anthropic.com