SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

事实锚定和来源引用:一个查真伪,一个查出处

很多 AI 项目在评审时把“输出有依据”当成一项通过条件。但依据来自两个动作:核对内容是否符合事实,以及标注信息来自哪份材料。这两个动作混在一起,出问题时没人分得清是查证没做对,还是源头给错了。

寓言

档案室里的两个校对员

市档案馆有一项规定:每份对外答复必须经过校对才能盖章。早年只有一位老校对员,他既要核对答复内容是否与馆藏档案一致,又要在每一段后面标注引自哪一卷哪一页。工作量太大,老校对员把两道工序并成一步——随手翻到相关页码标上去,只要看着像那么回事就算过关。

头几个月没什么问题。市民查到的答复有引注,格式也整齐,上级检查时挑不出毛病。大家都觉得合并工序提高了效率,没人追问那些引注里的页码到底对不对。老校对员也习惯了这种节奏,偶尔自己都觉得某个数字怪怪的,但下一份件又来了。

问题出在一份土地权属答复上。一位市民拿着档案馆出具的证明去办过户,窗口发现引注的档案卷号确实存在,但那一卷里记录的是另一块地。市民来回跑了三趟,最后查到原件才发现答复本身的内容就是错的——早年抄录时把两个地块的面积搞混了。

事后复盘时,档案馆才发现两道工序并在一起的代价。老校对员承认,他核对内容真伪时主要看引注有没有卷号,至于卷号指向的内容和答复是否匹配,他根本没有翻到那一页去核对。引注看起来完整,实际上在掩盖内容层面的错误。

档案馆后来把工序拆成两个人:第一个人只负责核对答复内容与档案原文是否一致,不写引注;第二个人只负责把核对无误后的内容标注出处。两项工作各自有一套检查标准,可以独立出错、独立修正。

半年后的一次抽检印证了拆分的好处。一批答复中,有三份引注页码写错了——但第一个人独立核对过内容,答复本身是正确的。换作以前,这会被当成“已经校对过”直接放行,等到市民发现引注错误再投诉。拆开之后,错误停留在出处标注这一层,不影响答复的可信度。

档案馆后来把这条经验写进培训手册:核对真伪是核对真伪,标注出处是标注出处。把两道工序拆开,不代表工作量翻倍,只是让每一层的错误能在那一层被抓住。

事实锚定

检查模型输出内容是否与可验证的外部事实或知识一致,关注的是答案本身对不对。

来源引用

标注输出信息所依据的具体来源、文档或段落,关注的是溯源路径是否可查。

故事对应

  • 核对内容是否与档案一致:事实锚定,验证输出本身是否正确
  • 标注引自哪一卷哪一页:来源引用,建立输出到来源的追溯链
  • 老校对员合并工序:项目把 grounding 和 citation 当成一个环节
  • 档案馆员先找原始案卷:grounding 先把答案落到证据材料上
  • 书签只告诉读者出处:citation 是可追溯标记,不等于证据已经支撑结论

落到 Agent 项目里

评测 Agent 输出质量时,事实准确率和引用覆盖率应拆成两个指标分别跟踪。引注完整但内容错误,说明 grounding 失败;内容正确但引注错误,问题出在 citation 生成环节。拆开才能定位改进方向。