← 返回概念解读

Concept Fable精修版

上下文精确率

Context Precision · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

图书管理员把答案藏在第七本书里

风铃镇的图书馆很大。镇民问问题,管理员会抱来一摞书,让他们自己找答案。管理员读书很多,知道哪些书可能有关。可书越抱越多,读者常在桌上迷路。

有天药铺学徒问“夜咳该看哪条旧方”。管理员抱来十本医书,其中九本都提到咳嗽,只有第七本记着夜间咳嗽和寒湿的细分。学徒翻了一上午,差点把白日咳的方子抄走。

馆长先要求管理员多找书,怕漏掉答案。桌上从十本变成二十本,学徒更困惑。找得全看似稳妥,可无关材料越多,真正答案越容易被淹没。

第二次修补是把书按厚薄排序,薄书先看。速度快了,却仍不能保证桌面上多数内容真正相关。馆长意识到,问题不是有没有把答案抱来,而是抱来的材料里有多少能直接帮上忙。

于是图书馆改了规矩。每次取书后,管理员要标出哪些页直接支持回答,哪些只是背景,哪些虽然有相同词却不该放上桌。若一摞书大半无用,就算答案藏在其中,也不能算一次好查找。

后来读者拿到的材料少了,却更准了。馆长明白,检索不是把可能相关的东西堆满桌,而是让交给读者的上下文尽量少掺杂质;桌面越干净,答案越不容易被噪声带偏。

管理员后来也保留“找全”的本事。遇到疑难病案,他会先扩大范围,再把无关页撤下,只把能支持推断的段落放在答题桌上。宽找和精放分成两步,读者不再被海量书脊吓住。

馆长每周抽查一次桌面:若答案页出现了,却被九成杂书包围,仍要重做。因为最后交给读者的材料会影响判断。精确的上下文不是炫耀藏书多,而是让有用证据占据主要位置。后来管理员训练徒弟时,不奖励抱书最多的人,只奖励能把无关书撤下的人。读者问的是答案,不是书山。上下文越贴近问题,后面的判断越稳。若材料里杂质太多,后面再聪明的读者也会被牵偏。

揭示

这个故事讲的是:上下文精确率

上下文精确率 Context Precision 衡量检索或提供给模型的上下文中,有多少靠前内容真正与问题相关。它关注的不只是答案是否被检索到,还关注相关材料是否排在前面、无关噪音是否过多。对 RAG 系统来说,Context Precision 高,模型更容易基于正确证据回答;低则容易被噪音干扰。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 图书管理员:检索系统或 RAG 管道
  • 抱来一摞书:检索结果或提供给模型的上下文片段
  • 答案在第五本书里:相关证据被检索到了,但排序不够好
  • 桥梁史、传说、歌谣:看似相关但对当前问题帮助不大的噪音上下文
  • 木蜡手册放第一本:真正相关证据排在前面
  • 答案是否排在前几本:Context Precision 关注检索结果靠前部分的相关性
  • 噪音太多的相关也是一种慢:上下文质量会直接影响模型回答质量和效率

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

context recallfaithfulnessRAGAS