SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

检索精确率和检索召回率

精确率和召回率是检索系统里最容易互相绑架的一对指标。精确率在问你找到的东西有几件是对的,召回率在问该找到的东西你找全了几件。提高一个往往以降低另一个为代价——塞得越多搜索结果越全,但也越容易夹带噪声。单独看一个数字很美,可能掩盖另一半塌方。

寓言

城中小报的两个信差,一个挑拣一个搜尽

城中小报雇了两位信差,专门从集市上收集新闻线索。老石是老手,跑集市四十多年,带回来每一条消息都可靠,但不多的五六条里总漏掉一些重要的。小顾是新来的,一早上能带回四十条消息,几乎涵盖了集市的每个角落,但里面有十二三条要么重复、要么不准确。

主编起初只盯着老石,因为老石的稿子不用审,直接排到版面上去。小顾的稿子他总是看一遍删一遍,抱怨浪费时间。但有一期报道市集假货,老石报了三家有问题,小顾报了十一家——事后调查确实十一家全有问题,老石漏了八家。那八家里有一家后来出了中毒事件,报纸挨了一顿猛批。

主编这才明白,老石的问题不是他找得不对,是他根本没去那些角落。他的精确率接近百分之百,但召回率不到三成。小顾的召回率超过九成,精确率只有六成。用一个信差代替两个,要么安全但漏大事,要么全面但天天审稿。

编辑部开了三天会,给两位信差重新分工。老石管核实——小顾搜回来四十条,老石从中挑出最可靠的部分不用再审,另外标记需要二轮确认的。小顾只管搜索,不限他是否重复或粗略,但每一条线索都要附上一个信源等级。

新的排版流程也改了。头版只登老石验证过的消息,后面附一张小顾搜到的全部线索清单,标注了待确认、已确认、已排除三类。读者可以自己判断信源等级,但报纸只对已验证的部分负责。

报纸的做法被同行议论了很久,但半年后没人再争论应不应该这么做——大家争的是精确率要定在多少、召回率要定在多少。每一家报纸根据自己的人力、预算和读者容忍度选了不同的平衡点。

主编后来对新编辑只讲一句话:精确率是你花钱保住信用,召回率是你花钱避免漏事。这两笔钱不能互为预算。

检索精确率

检索返回的结果中相关条目所占的比例,衡量系统避免输出无关内容的能力——精确率越高,用户看到的噪音越少。

检索召回率

所有相关条目中被检索系统成功找回的比例,衡量系统覆盖全部相关内容的能力——召回率越高,遗漏的关键信息越少。

故事对应

  • 老石(精确率):挑回来的每一条都对,但漏掉了大量关键信息
  • 小顾(召回率):几乎找全了所有线索,但混入了大量噪声
  • 假货事件:只追求精确率导致的灾难性遗漏
  • 分层三审:在实际系统中用高召回做初筛、高精确做终筛
  • 不同报纸不同平衡点:精确率和召回率的权衡取决于场景和预算

落到 Soloharness 项目里

不要把精确率和召回率割裂开看。一个好的 RAG 检索链路通常先做高召回拉回候选,再用重排序或过滤机制提升精确率。给客户解释指标时,不要说精确率 95%,而要同时说召回率是多少。客户真正关心的是你的系统会不会漏掉那条让他输官司或丢合同的关键信息。