SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable

检索召回率

Retrieval Recall · RAG evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

河口的一支商队里那块总被挪错的货签

河口的一支商队有一套用了很多年的办法。账房先生每天清早把货签分给车夫和采买人,谁拿到什么,就去做什么。小城不大,事情也不急,这套办法很少出错。

后来,来的人多了,订单变厚了,工具也多了。资料很多,真正需要的一页总在最后才找到。车夫和采买人开始发现,最难的不是干活,而是不知道该先听哪一个指令。

有人提议用一个简单办法:只按货物重量决定先后。头几天确实有效,所有人都看得见规则,队伍也安静了一些。账房先生以为问题解决了。

很快,人们学会了顺着新规则行动。急活被包装成普通活,普通活被写成急活;有人为了让自己的事先被处理,故意多敲几次红绳结。看起来更有秩序,实际却更难判断。

于是第二条规矩来了:凡是和precision有关的事,一律优先。结果新的拥堵又出现了。因为很多事情表面上都能和precision沾边,真正需要处理的差异反而被抹平。

有个年轻学徒没有继续加规矩。他连续三晚坐在门口,记录每块货签从哪里来、被谁拿走、用了什么工具、什么时候回来、回来后又改了几次。

第四天,他把记录摊开给账房先生看。问题不在某个人偷懒,也不在reranking写得不够漂亮。问题是城里只有入口,没有过程;只有命令,没有状态;只有结果,没有回路。

他们最后没有再增加一条口号,而是把货物价值、路况、交付承诺和风险标记一起纳入调度。从那以后,红绳结不再代表谁喊得响,而代表一件事在系统里走到了哪一步。

这时,老工匠才说:我们真正缺的不是更聪明的人,而是一种能让复杂工作稳定流动的结构。先学会把问题带到正确的资料面前。

揭示

这个故事讲的是:检索召回率

衡量检索系统是否找回了应该被找回的相关证据,是 RAG 质量的基础指标。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 河口的一支商队:一个真实运行中的 AI / Agent 业务系统
  • 货签:任务、请求、上下文或需要被处理的信息单元
  • 只按货物重量决定先后:只改表层规则、指标或提示词的天真修补
  • 红绳结:系统里的状态信号、触发条件或可观测线索
  • 年轻学徒的记录:把过程、状态、责任和反馈留下来的工程化做法
  • 把货物价值、路况、交付承诺和风险标记一起纳入调度:围绕 检索召回率 建立更稳定的工作结构
  • precision, reranking, top-k, ground truth:这个概念周围常一起出现的相邻问题

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

precisionrerankingtop-kground truth