← 返回概念解读

Concept Fable精修版

幻觉

Hallucination · LLM Behavior

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

讲得像亲眼见过的地图师

远行镇有一位地图师,口才很好。旅人问他去北山怎么走,他能说出河流、树林、驿站和山口,听起来像亲自走过很多遍。有天,一支商队请他画通往银矿的路线。地图师摊开纸,画出一座石桥、三片松林和一口老井。他说,过桥后向西,见井右转,就能到银矿。商队照着走,结果到了沼泽。那里没有石桥,也没有老井。

商队回来质问他。地图师很惊讶,说自己没有故意骗人,只是根据南边几条路的样子,推断北边也差不多。石桥常见,老井也常见,这条路线听起来合理。

老向导听完,把旧地图摊开:你画下的路并非来自确切见闻,只是你觉得它应该存在。它像真地图,却不能带人走。

地图师辩解,很多时候他的推断确实有用。老向导点头:闲聊里,合理推断可能无伤大雅;商队带着货物、时间和风险上路时,听起来像真的错误,比一句“不知道”更危险。

镇上后来给地图师立三条规矩。亲眼走过的路用实线,听别人说过的路用虚线,只是推测的路不能画成路;关键路线必须查旧图和路标;不确定时要明说。

镇长先让地图师说话慢些、语气谨慎些。可慢并不能让不存在的石桥出现,谨慎也不能替旅人找到路。真正该改的,是每条路线旁边必须标出亲测、听闻、推断,不能把三者画成同一种墨线。

后来旅人再来问路,地图师先把旧图、路碑和向导口供摆开。没有证据的地方,他宁愿留下空白,也不再用漂亮山线填满纸面。商队发现,空白虽然难看,却比一条自信的假路更可靠。

地图少了传奇色彩,却救回更多商队。可靠的图不急着把空白画满,它知道哪里仍是空白。

揭示

这个故事讲的是:幻觉

幻觉 Hallucination 是模型生成听起来合理但实际上错误、无证据支持或凭空编造的信息。它常见于模型试图补全缺失事实、过度自信回答、混淆相似信息或缺少可靠上下文时。对企业 Agent 来说,幻觉危险不只是答错,而是错误内容可能进入决策、客户沟通、合同、代码或业务系统。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 地图师:生成式模型,擅长根据模式组织连贯内容
  • 石桥、松林、老井:听起来具体可信但未被证据支持的细节
  • 商队走进沼泽:幻觉内容被用于真实行动后造成损失
  • 根据南边道路推断北边:模型基于模式补全,而不是基于事实验证
  • 像真地图但不是地图:流畅和具体不等于真实
  • 实线、虚线、不能画成路:区分已知事实、转述信息和推测
  • 查旧图和路标:用检索、引用、事实核验和工具验证降低幻觉
  • 知道哪些地方仍然是空白:可靠系统必须能表达不确定性

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

groundingfactualityRAGuncertaintyevaluation