SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

忠实性

Faithfulness · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

抄碑人多写了一个胜仗

石碑镇有一位抄碑人,字写得漂亮。镇上的旧碑风化了,县里让他把碑文抄成新册,方便后人查阅。抄碑人很认真,每天擦碑、辨字、誊写。

有一块碑记载的是一支商队穿越雪岭的故事。碑上写着:商队遇雪,折返三十里,后来改道到达。抄碑人觉得这个故事不够振奋,就在新册里写成:商队遇雪不退,最终翻越雪岭。

新册读起来更有气势,县令一开始还夸他文笔好。直到商队后人来查祖上路线,发现新册和家中旧信对不上。抄碑人解释说,我写的意思差不多,都是商队最后到了。

老史官摇头说,差很多。碑上说的是折返改道,你写成了硬闯成功。你不是抄错字,而是让记录背叛了证据。

从那以后,抄碑人每写一句,都要在旁边标出来自哪一块碑、哪一行字。碑上没有的,就不能当作碑文写进去;推测可以另写,但必须标成推测。

新册后来变得没那么戏剧化,却更可信。因为读者知道,册子里的话不是抄碑人觉得合理,而是碑文真的支持。

石碑镇也学到:好的记录不是把故事讲得更顺,而是让每一句都站得住。

揭示

这个故事讲的是:忠实性

事实一致性 Faithfulness 衡量模型回答是否忠于给定证据或上下文。一个回答可能流畅、有逻辑、甚至大体方向正确,但如果它加入了证据中没有支持的内容、改写了事实关系或夸大结论,就不够 faithful。对 RAG 系统来说,Faithfulness 是防止幻觉和证据背离的关键指标。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 旧碑:检索到的证据、文档或上下文
  • 抄碑人:根据证据生成回答的模型
  • 多写一个胜仗:模型添加了证据没有支持的事实
  • 读起来更有气势:回答流畅或更吸引人不代表事实一致
  • 折返改道被写成硬闯成功:事实关系被改变
  • 每句标出碑文来源:引用、证据对齐和可追溯生成
  • 推测必须标成推测:区分证据支持内容和模型推断
  • 让每一句都站得住:Faithfulness 要求回答受证据约束

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

hallucinationgroundingcitation