SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

检索召回率和上下文召回率

两个指标都叫「召回率」,都跟「全不全」有关。但一个量的是从仓库里取到了多少,另一个量的是真正送到工人手边的东西够不够齐全。看错数字,会放过真实的流程短板。

寓言

两本完整率报表

老陈在一家零件装配厂做质检主管。厂里有两个质检员,一个姓赵,一个姓钱。两个人的工作都叫「查全不全」,但站的位置不一样。

赵质检站在仓库门口。每来一批新订单,工人去仓库取零件,赵质检就核对:该取的零件是不是都取到了?有没有漏掉的?有没有拿错的?月底报表上,赵质检的数字很漂亮——取件完整率百分之九十八。

钱质检站在装配台旁边。他的工作是查:真正送到装配台上的零件包,里面是不是样样都有?有没有在搬运途中掉落的?有没有被临时换掉的?月底报表上,钱质检的数字就没那么好看了——装配完整率只有百分之八十四。

厂长看了两本报表,觉得奇怪。同一个批次的订单,仓库取件完整率百分之九十八,怎么到了装配台就只剩百分之八十四?中间差了十四个点,去哪了?

厂长把赵质检和钱质检叫到一起,让他们逐单对账。一对就发现问题了:有些零件虽然从仓库取出来了,但在分拣区被调度员临时抽走挪给了加急单,赵质检根本不知道,因为他的检查只到仓库门口为止。还有些零件规格是对头的,但版本不对,老版零件在仓库里算「取到了」,到了装配台却装不上去,钱质检只能把它记为「缺失」。

厂长明白了。赵质检量的是仓库到分拣区的这段路,钱质检量的是零件包最终到达装配台时的状态。两个人用的都是「完整率」这把尺子,但量的不是同一段流程。

从此,厂长在分拣区和装配台之间加了一个交接登记点,每一种零件的每一次转移都有记录。他也不再只看一个数字——仓库完整率和装配完整率分开跟踪,谁掉的零件谁负责。

年底总结,厂长跟同行分享了一条经验:不要因为仓库报表好看就以为装配台没问题。一个系统里,取得到和用得上,中间隔着一整套物流。

检索召回率

衡量检索系统从知识库中找回了多少相关文档。它关注的是「检索这一步做全了没有」,跟后续如何使用这些文档无关。

上下文召回率

衡量最终塞进模型上下文窗口里的信息是否覆盖了回答所需的所有关键证据。它关注的是「最终用上的东西是否齐全」,在检索之后还可能经历截断、重排和过滤。

故事对应

  • 仓库门口:检索系统出口,检索召回率衡量这一段。
  • 装配台:模型最终看到的上下文窗口,上下文召回率衡量这一段。
  • 分拣区调度员抽走零件:检索后的重排、截断或过滤丢掉了相关内容。
  • 版本不对装不上去:检索到的文档内容相关但信息不匹配,在上下文评估中被判为缺失。
  • 十四个百分点差距:两个召回率之间的落差,通常是 RAG 系统中排序和截断策略的问题。

落到项目里

每次评估 RAG 系统,同时记录两个召回率。检索召回率低,问题在向量模型、索引策略或知识库覆盖度。检索召回率高但上下文召回率低,问题在重排序、截断窗口或过滤逻辑。把两个数字摊在同一张表上对比,比单独看任何一个都有用。