SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

事实锚定和忠实性,一个管说了实话,一个管没自己编

事实锚定衡量模型输出与外部知识源(文档、数据库、搜索返回结果)之间的一致性。忠实性衡量模型输出与给定输入或上下文之间的保真程度——它有没有在给定的基础上私自加料。两个都像质量指标,但一个看外面,一个看里面。

寓言

有两个史官,一个只看能不能对上原文,一个看他有没有加自己的话

翰林院有两间档案房,一间收外部的朝报与地方奏折,一间留翰林院自己的起注稿。派出去实地校验的两个史官各有自己的规矩。赵史官每写好一段,先翻开朝报和奏折对一遍——边境粮价、驻军编制、河道水位,能对上的就叫“站得住”。钱史官不看朝报,他只看自己起注稿上标注的引用原文——稿子说边军驻了六个营,原文里只写了四个营,多出来的两个营就是“加了自己的话”。

第一次合稿校验,两份稿子各有一处被标记为异常。赵史官的稿子写“河道水位涨到五尺二寸”,对着朝报查,朝报写的确实是五尺二寸——事实锚定过。但原文起注稿里写的是“水位异常高”,赵史官把“异常高”改成了“五尺二寸”——数字对上了朝报,但对不上原文的意义。钱史官的稿子没改数字,但写了一段“水位异常高,疑似上游溃坝”,“疑似溃坝”这四个字在任何来源里都没有。

第二次校验,两位史官互换了对象。钱史官拿着赵史官的稿子去对朝报——数字都准,锚定满分。赵史官拿着钱史官的稿子去对原文——忠实性合格,没有多写任何原文没有的内容。两份校验报告的结果完全不同:同一篇稿子,按锚定标准是精品,按忠实性标准只能算半粗。

翰林院主持校验的学士发现了最危险的情况。赵史官的那篇稿子,数字对上了朝报,但朝报里引用的原始奏折被主笔改动过数字——锚定的链条断了,上游是虚假数据,下游的数字再准也是错的。钱史官的那篇稿子虽然没多写内容,但某些数字其实是原文里的模糊描述被赵史官用朝报校准过的,钱史官的忠实性标准看不到这个来源。

学士做了一个决定:从今往后,校验要有两关——第一关,稿子跟给定原文之间不能有额外杜撰;第二关,稿子中引用的具体数字与名称要能找到可追溯的外部来源。第一关不过的稿子直接退,第一关过了再走第二关。

到年底总评,学士写了一段总结:锚定管的是“你说的跟外面的记录是否一致”,忠实性管的是“你有没有在前面给你的材料上擅自加东西”。两者测的不是同一件事——一对对出来的稿子可能对原文不忠,忠于原文的稿子可能跟事实对不上。质量评估需要两关,以不同的顺序走。

事实锚定

衡量模型输出与外部事实源(文档、知识库、搜索返回结果)的一致程度。它回答的是“输出能否追溯到一个真实的外部来源”。

忠实性

衡量模型输出与给定输入或上下文之间的保真程度。它回答的是“输出是否严格基于给定的材料,没有自行添加、推理或编造”。

故事对应

  • 赵史官对朝报校验数字:事实锚定——外部知识源校验输出事实
  • 钱史官对着原文查添加:忠实性——输出是否严格与给定输入一致
  • 同一篇稿子锚定满分但忠实性半粗:两个维度评估的是不同方面的质量
  • 朝报的原始奏折数据被主笔改动过:锚定链上游有问题时,下游的锚定结果也不可靠
  • 原文模糊描述被朝报校准:忠实性看不到校准来源,但锚定的干预可能改变输出含义
  • 学士的两关校验规则:先查忠实性(不杜撰),再查锚定(可追溯),两关顺序很重要

落到 LLM 应用的质量评估

RAG 或搜索增强的 LLM 应用评估需要同时看事实锚定和忠实性。先查忠实性——输出是否在给定检索结果的范围内回答,有没有偷跑进模型自己的知识。再查锚定——输出中的事实点是不是真的在检索结果里有明确出处。最隐蔽的问题是忠实性合格但锚定失败——这时系统忠实引用了检索结果,但检索结果本身是错的;或者锚定合格但忠实性失败——这时系统知识覆盖了检索结果的缺口,但混入了无法追溯的内容。两个指标要分开报告,不能合并成一个平均分。