SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

上下文召回率和忠实性

上下文召回率问的是「相关文档找到了吗」,忠实性问的是「生成的答案跟文档对得上吗」。召回率高只能说明资料找得全,不能保证答案没编造。两个指标分开看才有诊断价值,合在一起看只会得到一个没毛病但没用的结论。

寓言

找资料的人和写报告的人

研究所里有两个岗位:资料员和报告员。资料员的工作是接到课题后去档案库把所有相关文献找出来,摆在报告员桌上。报告员的工作是读完这些文献,写一份综合报告。

材料组的组长老苏盯一个指标盯了半年:资料员的「找全率」。每次课题,所有已知相关的文献必须出现在报告员桌上。资料员表现很好,找全率一直维持在百分之九十六以上。老苏对这个数字很满意。

直到有个客户投诉一份报告。报告里写「该地区土壤重金属含量超标三倍」,客户拿着报告去找环保局,环保局派人实测,发现完全没问题。客户回头质问研究所:你们的依据在哪?

老苏回到档案库查那批原始文献,发现当时资料员确实把所有相关文献都找全了——五篇论文、两份监测报告、十二份土壤采样数据,整整齐齐摆在桌上。问题是报告员只翻了其中三份,剩下的大部分没看,自己凭印象补充了数据。

老苏把监控看了一遍。资料员找得全,但报告员写得飘。找全率高不代表报告质量高。老苏意识到自己只管理了输入端的质量,输出端的质量完全是盲区。

老苏新加了一个指标:每份报告都要附一份引用对照表,报告里的每一条数据结论必须标注源自哪份文献的哪一页。抽查时随机选三条结论,回原始文献核对。这个指标叫「据实率」。

几个月后数据出来,老苏发现了一个规律:找全率高的课题,据实率不一定高;但找全率低的课题,据实率没一个高的。这说明资料找得全只是必要条件,不是充分条件。两个指标各自盯着不同的环节:一个盯检索,一个盯生成。

老苏在年终汇报里写:拿到系统的找全率数据后,别急着庆祝。问一句——它找全了,它说对了吗?这两个问题之间隔着一整道生成工序。少问一句,漂亮数字底下可能压着一堆编造。

上下文召回率

评估检索阶段是否找回了所有相关文档的指标。它衡量的是「该找到的东西找到了多少」,只关心检索的完整性,不关心生成质量。

忠实性

评估生成答案是否忠实于检索到的文档内容的指标。它衡量的是「生成的东西是否基于真实来源」,检测幻觉和编造。

故事对应

  • 资料员找文献:上下文召回——检索环节是否把相关文档都拿出来。
  • 报告员写报告:忠实性——生成环节是否基于检索到的内容输出。
  • 找全率高但报告有编造:两个指标独立,高召回不能保证高忠实。
  • 引用对照表:忠实性评估的常见做法——逐条回源验证。
  • 找全率低时据实率也不高:召回是忠实的必要条件,但不是充分条件。

落到项目里

RAG 系统评估至少看两个维度:检索端看召回率,生成端看忠实性。发现忠实性差时不要直接改检索策略——先查是检索漏了关键文档,还是模型在已有文档上自由发挥。前者是召回问题,后者是生成控制问题,修的位置和方法完全不同。如果只用一个综合分把两个指标揉在一起,问题定位永远慢半拍。