SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

上下文精确率

Context Precision · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

图书管理员把答案藏在第七本书里

风铃镇的图书馆很大。镇民问问题,管理员会抱来一摞书,让他们自己找答案。管理员读书很多,知道哪些书可能有关。

有天,木匠来问:修老桥该用哪种防潮木蜡?管理员很快抱来十本书:桥梁史、木材大全、河道传说、旧镇志、木蜡手册、工匠名录、码头税册、雨季笔记、仓库清单、修桥歌谣。

答案确实在里面,在第五本《木蜡手册》的第三章。可是木匠先翻了桥梁史,又翻了河道传说,还被修桥歌谣耽误了半天。他最后找到了答案,却已经快到傍晚。

管理员说,我没有拿错,答案在这摞书里。木匠说,是在里面,但被埋得太深了。我要的是能帮我马上修桥的材料,不是一堆大概相关的书。

第二天,管理员换了方法。他仍然找十本书,但先把真正可能回答问题的放在最上面,把背景资料放后面,把只是沾边的书拿掉。木匠再来时,第一本就是木蜡手册,第二本是雨季笔记,第三本是仓库清单。

这一次,木匠很快决定了材料。管理员才明白,找得到答案只是第一步;把有用材料放在前面,少夹杂无关内容,才真正帮到了人。

后来,图书馆不再只统计‘答案是否被找出’,还统计‘答案是否排在前几本里’和‘前几本里有多少是真的有用’。因为对提问者来说,噪音太多的相关,也是一种慢。

揭示

这个故事讲的是:上下文精确率

上下文精确率 Context Precision 衡量检索或提供给模型的上下文中,有多少靠前内容真正与问题相关。它关注的不只是答案是否被检索到,还关注相关材料是否排在前面、无关噪音是否过多。对 RAG 系统来说,Context Precision 高,模型更容易基于正确证据回答;低则容易被噪音干扰。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 图书管理员:检索系统或 RAG 管道
  • 抱来一摞书:检索结果或提供给模型的上下文片段
  • 答案在第五本书里:相关证据被检索到了,但排序不够好
  • 桥梁史、传说、歌谣:看似相关但对当前问题帮助不大的噪音上下文
  • 木蜡手册放第一本:真正相关证据排在前面
  • 答案是否排在前几本:Context Precision 关注检索结果靠前部分的相关性
  • 噪音太多的相关也是一种慢:上下文质量会直接影响模型回答质量和效率

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

context recallfaithfulnessRAGAS