幻觉
/həˌluːsɪˈneɪʃən/
Also known as: AI hallucination, confabulation, factual error
什么是 AI 幻觉？
AI 幻觉是指大型语言模型生成看起来合理但事实上错误或没有证据支持的输出。与标准软件错误（系统可能崩溃或返回错误）不同，产生幻觉的大语言模型以与正确答案相同的权威语气提供完全虚构的答案。
幻觉可分为：
- 事实性错误：模型陈述不正确的事实
- 忠实性错误：模型歪曲或误解来源或提示
为什么大语言模型会产生幻觉？
原因既有技术性的也有系统性的：
技术因素：
- 噪声或不完整的训练数据
- 下一个标记预测的概率性质
- 缺乏外部知识的接地
- 记忆和推理的架构限制
系统性激励： OpenAI 的 2025 年论文”为什么语言模型会产生幻觉”解释说，下一个标记预测和惩罚”我不知道”回答的基准测试隐含地推动模型虚张声势而不是安全地拒绝。标准训练奖励自信的猜测而不是承认不确定性。
2025 年的幻觉率
该领域已取得重大进展：
- 顶级模型（Gemini-2.0-Flash、o3-mini-high）：0.7% 至 0.9% 的幻觉率
- 中等水平：2% 至 5%
- 所有模型的平均水平：一般知识约 9.2%
现在有四个模型实现了低于 1% 的幻觉率——这是企业可信度的重要里程碑。
缓解策略
检索增强生成（RAG）： 最有效的技术解决方案。系统不依赖内部记忆，而是从可信来源检索相关文档，然后将此上下文提供给大语言模型。
提示工程： 具体说明、提供上下文、指示”逐步思考”，并明确允许”我不知道”的回答。
校准感知训练： 新方法奖励不确定性友好的行为，而不是自信的猜测。
人在回路中： 关键决策需要人工验证。
命名辩论
Geoffrey Hinton 认为这些应该被称为”虚构记忆”而不是幻觉。幻觉意味着病理；虚构记忆是正常的人类行为——我们构建记忆而不是检索文件。这种区别很重要：虚构记忆表明这是生成系统的固有特征，而不是要消除的缺陷。
“We don’t store files and retrieve them; we construct memories when we need them.” “我们不会存储文件然后检索它们；我们在需要时构建记忆。” — Geoffrey Hinton
思维的转变
该领域已从”追求零幻觉”转向”以可衡量、可预测的方式管理不确定性。“完美的准确性可能是不可能的，但可接受的企业级可靠性是可以实现的。
相关阅读
- 虚构记忆 - Hinton 的首选术语
- 接地 - 将输出连接到经过验证的来源
- Geoffrey Hinton - 倡导虚构记忆框架的先驱
Mentioned In
Geoffrey Hinton
Hallucinations should be called confabulations - we do them too.