SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

送进上下文的准不准和全不全

RAG 答错时,问题可能是塞进上下文的材料太杂,也可能是关键材料根本没被取回。上下文精确率惩罚无关内容,上下文召回率惩罚遗漏证据。

寓言

判官桌上的证词和缺席的目击者

县衙换了一位新师爷,负责把案卷里的证词摆到判官桌上。判官每天只看桌面上的纸,桌上有什么,他就按什么断案。师爷怕漏线索,遇到盗窃案便把街坊闲谈、旧案传闻、商铺账册全放上去。

第一桩案子看似顺利。判官从一堆纸里找到真正相关的两张,判了个大概。师爷得意,觉得多放总比少放稳。可到了复杂案子,桌上堆得像小山,判官来回翻找,反而被无关吵架和过期账目带偏。

另一位师爷走向相反。他只挑最像问题的证词,桌面干净,判官读得快。可是有一案问货物何时出门,他只拿来门房记录,漏掉河边脚夫的证词。判官不知道还有这一页,便把时间线断错了。

两位师爷开始互相指责。第一位说,案卷都在桌上,判官自己没看清;第二位说,桌面清楚才有判断。老判官听完没有表态,只让他们把每张纸标上“是否真能回答本案”,再把所有应出现的关键证词列在墙上。

标完之后,毛病露出来了。第一位桌上十张里只有三张有用,判官被七张纸拖累;第二位桌上三张都很有用,却只覆盖了墙上六条关键证词的一半。一个错在放多,一个错在漏掉。

从那以后,县衙先查桌面纯度,再查关键证词覆盖。问简单事实时,宁可桌面窄一些;问责任归属和时间链时,要确保关键节点都到场。判官也学会追问:我看到的纸够干净吗,该来的证人都来了吗?

案子不再只用“答得好不好”来评价。桌面本身成了可检查的对象。纸太杂,判断会浑;纸太少,判断会瞎。好的师爷,既不把判官淹没,也不让关键人缺席。 县衙还留下错案样本,每次新师爷上任,都要先练两件事:从杂纸堆里剔除噪声,再从完整案卷里找出必到证词。若两项分数分开记,师爷才知道该修选纸、扩查找,还是调整桌面容量。否则所有错案都会被笼统归成判官没看好。

上下文精确率

上下文精确率衡量送入模型上下文的内容中,有多少真正与问题相关。它关注噪声、干扰和无关证据造成的质量下降。

上下文召回率

上下文召回率衡量所有应该被取回的相关内容中,有多少实际进入了上下文。它关注关键证据遗漏导致的回答残缺。

故事对应

  • 判官桌面:送给模型的上下文窗口
  • 无关闲谈和旧账册:低上下文精确率带来的噪声
  • 缺席的脚夫证词:低上下文召回率导致关键证据遗漏
  • 标注每张纸是否有用:评估 context precision
  • 墙上的关键证词清单:评估 context recall 需要参考应被取回的证据集合

落到 RAG 评估里

当模型引用混乱、回答被旁枝材料带偏,先查 context precision;当答案看似干净却漏掉条件、例外、时间线,先查 context recall。真实项目里两项要分开记录,否则团队会把检索召回、排序和上下文裁剪的问题混在一起修。