BroadRouter
开始使用

AI 幻觉(hallucination)

更新于

幻觉是语言模型输出的、听起来合理但实际错误、凭空编造或没有输入依据的内容,例如虚构的引用、错误的数字或不存在的 API。它源于模型预测"可能的文本",而不是核查事实。

又称: 大模型幻觉、模型幻觉、AI 幻觉、幻觉问题、虚构、hallucination、AI hallucination、LLM hallucination、confabulation

幻觉读起来和正确答案一模一样。这正是它代价高昂的原因。

工作原理

语言模型根据训练和提示词,写出最”合理”的下一个 token。这个循环中没有任何一步会拿事实去和真实世界核对。当模型不知道答案时,一个看似合理的答案仍然唾手可得。

Kalai 等人在 2025 年的论文中认为,幻觉之所以持续存在,是因为 “training and evaluation procedures reward guessing over acknowledging uncertainty.”(译文:训练和评估流程奖励猜测,而不是承认不确定。)大多数基准测试对猜对给分,对放弃作答不给分,所以模型被调教成了擅长考试的”考生”。他们还把这些错误追溯到一个统计根源:如果模型无法可靠地区分真陈述和假陈述,预训练就会产生错误的陈述。

API 工作中常见的形式:

  • 虚构的引用、URL 或引文
  • 对一份正确文档做摘要时写错数字
  • 不存在的 API 方法或参数
  • 回答所给上下文并未涵盖的问题

为什么重要

代价发生在下游:客服机器人编出一条退款政策,报告里的合计数错了,代码调用了一个不存在的函数。相比之下,修复手段很便宜:

  • 为回答提供依据。 把来源文本放进提示词,或用 RAG 检索出来。Lewis 等人发现,检索增强生成比只依赖参数的基线更 “factual”(译文:符合事实)。参见事实依据。
  • 允许说”我不知道”。 Anthropic 把明确允许模型承认不确定列为一个基本步骤。
  • 要求引用,然后核查。 让模型为每个论断给出一段支持性的原文引用,删掉没有引用的论断。
  • 衡量。 建立一个评测集,加入上下文中没有答案的问题,跟踪模型编造答案的频率。在 API 返回 logprobs 时,可以用它标记低置信度的回答。
  • 在代码中核查。 合计数、日期和 ID 不需要模型就能验证。

降低温度有助于减少长文本中的跑题,但对自信的错误无效。

在 BroadNet Inference 上

BroadNet 的文档没有公布其模型的幻觉率,也没有列出护栏或事实核查功能,所以这些控制措施都在你的应用里实现。大上下文有助于提供依据:DeepSeek V4.1 Flash 和 GLM 5.3 每个请求接受 1,048,576 token,足以放入完整的源文档。阿拉伯语检索流程见阿拉伯语 RAG;对照图片核查提取出的字段,见发票指南。

常见问题

大模型为什么会产生幻觉?

它们被训练来生成"可能的文本",而 Kalai 等人认为,训练和基准测试奖励自信的猜测,而不是承认不确定。猜测有可能得分,说"我不知道"则一分没有。

幻觉能彻底消除吗?

没有哪种方法能完全消除。用文档提供依据、允许说"我不知道"、要求引用、在代码中核查,都能减少幻觉。Anthropic 的指南说,这些技巧能减少幻觉,但不能消除。

降低温度能阻止幻觉吗?

它能减少随机的用词,但不能减少自信的错误。在温度 0 下,模型可能每次都给出同一个错误答案。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity