幻觉读起来和正确答案一模一样。这正是它代价高昂的原因。
工作原理
语言模型根据训练和提示词,写出最”合理”的下一个 token。这个循环中没有任何一步会拿事实去和真实世界核对。当模型不知道答案时,一个看似合理的答案仍然唾手可得。
Kalai 等人在 2025 年的论文中认为,幻觉之所以持续存在,是因为 “training and evaluation procedures reward guessing over acknowledging uncertainty.”(译文:训练和评估流程奖励猜测,而不是承认不确定。)大多数基准测试对猜对给分,对放弃作答不给分,所以模型被调教成了擅长考试的”考生”。他们还把这些错误追溯到一个统计根源:如果模型无法可靠地区分真陈述和假陈述,预训练就会产生错误的陈述。
API 工作中常见的形式:
- 虚构的引用、URL 或引文
- 对一份正确文档做摘要时写错数字
- 不存在的 API 方法或参数
- 回答所给上下文并未涵盖的问题
为什么重要
代价发生在下游:客服机器人编出一条退款政策,报告里的合计数错了,代码调用了一个不存在的函数。相比之下,修复手段很便宜:
- 为回答提供依据。 把来源文本放进提示词,或用 RAG 检索出来。Lewis 等人发现,检索增强生成比只依赖参数的基线更 “factual”(译文:符合事实)。参见事实依据。
- 允许说”我不知道”。 Anthropic 把明确允许模型承认不确定列为一个基本步骤。
- 要求引用,然后核查。 让模型为每个论断给出一段支持性的原文引用,删掉没有引用的论断。
- 衡量。 建立一个评测集,加入上下文中没有答案的问题,跟踪模型编造答案的频率。在 API 返回 logprobs 时,可以用它标记低置信度的回答。
- 在代码中核查。 合计数、日期和 ID 不需要模型就能验证。
降低温度有助于减少长文本中的跑题,但对自信的错误无效。
在 BroadNet Inference 上
BroadNet 的文档没有公布其模型的幻觉率,也没有列出护栏或事实核查功能,所以这些控制措施都在你的应用里实现。大上下文有助于提供依据:DeepSeek V4.1 Flash 和 GLM 5.3 每个请求接受 1,048,576 token,足以放入完整的源文档。阿拉伯语检索流程见阿拉伯语 RAG;对照图片核查提取出的字段,见发票指南。