← 返回概念辨析

Concept Contrast Fable

送进上下文的准不准和全不全

RAG 答错时,问题可能是塞进上下文的材料太杂,也可能是关键材料根本没被取回。上下文精确率惩罚无关内容,上下文召回率惩罚遗漏证据。

寓言

判官桌上的证词和缺席的目击者

县衙审一桩田地案,师爷负责把案卷送到判官桌上。第一次,他怕漏证,把族谱、邻里闲话、十年前无关租契都搬来。判官翻到夜里,真正的界碑契纸被压在纸堆底下。

第二次,师爷吸取教训,只送三张看似最重要的纸。桌面清爽了,却漏掉一封改界信。判官差点按旧界判地,邻村立刻喊冤。

老判官让他分清两件事。桌上材料要干净,少掺无关纸,否则判断会被噪声拖慢;桌上材料也要齐,关键证词不能缺,否则再干净也会判偏。

师爷后来先列“必须到场”的证据:主契、改界信、界碑记录和最近一次纳税册。再剔除无关闲话、重复抄本和只沾边的人情信。若某份材料拿不准,就在边上写明原因,而不是偷偷塞进一大摞。

下一次审案,判官桌上只有十几页,却覆盖了所有关键事实。判官看得快,也少了漏判。

判官责怪师爷两次都没分寸。师爷也委屈:多送怕乱,少送怕漏。第三次,他先把所有可能证据列在地上,再按与争议的关系分堆:界碑、改界信、当年见证人放在前面,远房族谱和闲话放在后面。

判官终于能顺着核心证据审案,又在需要时查到补充材料。桌面上相关纸越多,判断越利落;关键纸若缺一张,再整洁也危险。一个考验送来的材料有多干净,一个考验该来的材料有没有来。两者拉扯,案子才不至于被纸堆淹没或被遗漏带偏。师爷后来每次送卷都先问两件事:桌上有没有混进太多旁枝,真正能改判的纸有没有缺席。两个问题少一个,判官都会被带偏。

判官收卷时说,送材料像备堂证:准,是少送无用纸;全,是不漏要命纸。只求准会瘦到缺骨,只求全会胖到看不清。好师爷要同时守住这两条线。

上下文精确率

上下文精确率衡量送入模型上下文的内容中,有多少真正与问题相关。它关注噪声、干扰和无关证据造成的质量下降。

上下文召回率

上下文召回率衡量所有应该被取回的相关内容中,有多少实际进入了上下文。它关注关键证据遗漏导致的回答残缺。

故事对应

  • 判官桌面:送给模型的上下文窗口
  • 无关闲谈和旧账册:低上下文精确率带来的噪声
  • 缺席的脚夫证词:低上下文召回率导致关键证据遗漏
  • 标注每张纸是否有用:评估 context precision
  • 墙上的关键证词清单:评估 context recall 需要参考应被取回的证据集合

落到 RAG 评估里

当模型引用混乱、回答被旁枝材料带偏,先查 context precision;当答案看似干净却漏掉条件、例外、时间线,先查 context recall。真实项目里两项要分开记录,否则团队会把检索召回、排序和上下文裁剪的问题混在一起修。