SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

上下文召回率

Context Recall · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

少拿了一页医案,名医也开不准方

青瓦镇的医馆有一位老大夫,诊断很稳。病人来看病时,学徒会先去档案柜里找旧医案,再把相关记录放到老大夫桌上。老大夫看完记录,再问诊开方。

有天,一个常客又来咳嗽。学徒很快找来三页记录:上月受寒、去年咽痛、前年发热。老大夫看后开了温补方。病人吃了两天,反而更不舒服。

老大夫觉得奇怪,亲自去档案柜翻。结果发现还有第四页医案,记录着病人曾对某味温补药过敏。那一页没有被学徒拿来,因为标题写的是‘春季皮疹’,看起来不像咳嗽。

学徒委屈地说,我拿来的三页都相关。老大夫说,问题不是你拿来的东西错,而是关键的一页没拿来。缺了它,前面三页再正确,也会把判断带偏。

后来医馆改了找档案的方法。学徒不只按当前症状找,还要查禁忌、过敏史、长期病史和最近用药。桌上的纸多了一些,但关键记录不再轻易漏掉。

老大夫告诉学徒,查得准有两层意思:一是别拿太多无关东西,二是别漏掉真正会改变判断的东西。前者让桌面干净,后者让方子安全。

从那以后,医馆每次复盘误诊,都会先问:我们有没有把必要医案都拿到桌上?因为再聪明的大夫,也不能根据没看见的证据做判断。

揭示

这个故事讲的是:上下文召回率

上下文召回率 Context Recall 衡量回答问题所需的关键证据是否被检索并放入上下文。它关注的是有没有漏掉必要信息。对 RAG 系统来说,Context Recall 低时,模型即使推理能力强,也可能因为缺少关键资料而答错、遗漏限制条件或产生不完整结论。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 老大夫:大语言模型或回答生成器
  • 学徒找医案:检索系统把资料放入上下文
  • 三页都相关:检索结果可能看起来不错,但不代表覆盖完整
  • 第四页过敏记录:回答问题必须具备的关键证据
  • 标题不像咳嗽所以漏掉:检索策略没有覆盖同义、隐含或跨主题信息
  • 禁忌、过敏史、长期病史:任务相关的必要上下文范围
  • 别漏掉真正会改变判断的东西:Context Recall 的核心
  • 不能根据没看见的证据做判断:模型质量受上下文完整性限制

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

context precisiongrounding