← 返回概念解读

Concept Fable精修版

忠实性

Faithfulness · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

抄碑人多写了一个胜仗

石碑镇有一位抄碑人,字写得漂亮。镇上的旧碑风化了,县里让他把碑文抄成新册,方便后人查阅。

有一块碑记载商队穿越雪岭。碑上写着:商队遇雪,折返三十里,后来改道到达。抄碑人觉得这不够振奋。

他在新册里写成:商队遇雪不退,最终翻越雪岭。新册读起来更有气势,县令一开始还夸他文笔好。

直到商队后人来查祖上路线,发现新册和家中旧信对不上。抄碑人解释说,意思差不多,都是商队最后到了。

老史官摇头。碑上说的是折返改道,新册写成硬闯成功。差的不是字面小错,而是记录背离了证据。

从那以后,抄碑人每写一句,都在旁边标出来自哪块碑、哪一行。碑上没有的,可以另写成猜测,不能装成碑文。新册没那么戏剧,却更可信,因为读者知道每句话都能站回原石。

抄碑人起初觉得这样写太拘束。老史官带他看后人查路、修祠、争田界的场景,才让他明白,新册会被人拿去做决定。

若新册比旧碑更顺口,却让人走错山路,那漂亮文字就是害人的。抄碑人的职责不是让故事更像胜利,而是让读者知道石头上到底留下了什么。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。 这道关卡不能省。 也要现场验过。 再交给别人复查。 才能放心。

揭示

这个故事讲的是:忠实性

事实一致性 Faithfulness 衡量模型回答是否忠于给定证据或上下文。一个回答可能流畅、有逻辑、甚至大体方向正确,但如果它加入了证据中没有支持的内容、改写了事实关系或夸大结论,就不够 faithful。对 RAG 系统来说,Faithfulness 是防止幻觉和证据背离的关键指标。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 旧碑:检索到的证据、文档或上下文
  • 抄碑人:根据证据生成回答的模型
  • 多写一个胜仗:模型添加了证据没有支持的事实
  • 读起来更有气势:回答流畅或更吸引人不代表事实一致
  • 折返改道被写成硬闯成功:事实关系被改变
  • 每句标出碑文来源:引用、证据对齐和可追溯生成
  • 推测必须标成推测:区分证据支持内容和模型推断
  • 让每一句都站得住:Faithfulness 要求回答受证据约束

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

hallucinationgroundingcitation