SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

幻觉

Hallucination · LLM Behavior

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

讲得像亲眼见过的地图师

远行镇有一位地图师,口才很好。旅人问他去北山怎么走,他能说出河流、树林、驿站和山口,听起来像亲自走过很多遍。镇上的人喜欢听他说路,因为他说得完整又自信。

有天,一支商队请他画一条通往银矿的路线。地图师摊开纸,画出一座石桥、三片松林和一口老井。他说,过桥后向西,见井右转,就能到银矿。商队照着走,结果走到一片沼泽。那里没有石桥,也没有老井。

商队回来质问他。地图师很惊讶。他说,我没有故意骗人。我只是根据南边几条路的样子,推断北边也应该差不多。石桥很常见,老井也常见,这条路线听起来合理。

老向导听完说,问题就在这里。你画的不是你知道的路,而是你觉得应该存在的路。它像真地图,但不是地图。

地图师辩解说,很多时候他的推断确实有用。老向导点头:在闲聊里,合理推断可能无伤大雅;但商队带着货物、时间和风险上路时,听起来像真的错误,比一句‘我不知道’更危险。

后来,镇上给地图师立了三条规矩。第一,亲眼走过的路,用实线;听别人说过的路,用虚线;只是推测的路,不能画成路。第二,旅人问关键路线时,必须查旧图和路标。第三,不确定时,要说不确定,不能用漂亮细节填满空白。

地图师的图少了一些传奇色彩,却救回了更多商队。因为真正可靠的地图,不是把空白画得很满,而是知道哪些地方仍然是空白。

揭示

这个故事讲的是:幻觉

幻觉 Hallucination 是模型生成听起来合理但实际上错误、无证据支持或凭空编造的信息。它常见于模型试图补全缺失事实、过度自信回答、混淆相似信息或缺少可靠上下文时。对企业 Agent 来说,幻觉危险不只是答错,而是错误内容可能进入决策、客户沟通、合同、代码或业务系统。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 地图师:生成式模型,擅长根据模式组织连贯内容
  • 石桥、松林、老井:听起来具体可信但未被证据支持的细节
  • 商队走进沼泽:幻觉内容被用于真实行动后造成损失
  • 根据南边道路推断北边:模型基于模式补全,而不是基于事实验证
  • 像真地图但不是地图:流畅和具体不等于真实
  • 实线、虚线、不能画成路:区分已知事实、转述信息和推测
  • 查旧图和路标:用检索、引用、事实核验和工具验证降低幻觉
  • 知道哪些地方仍然是空白:可靠系统必须能表达不确定性

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

groundingfactualityRAGuncertaintyevaluation