← 返回概念解读

Concept Fable精修版

抽样复核

Sampling Review · Operations/Audit

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

账房每晚只翻几本账却看住了整座市集

市集税账最初很少。总账房每天把所有摊位账本翻一遍,哪里少记一文都能找出来。

后来摊位从几十个变成几百个,还有夜市、临时棚和外地货。若仍想全看完,账房只能草草扫过,反而漏掉大错。

市令先要求每个账房多留一个时辰。大家疲惫,错账没有减少,复核变成勾名册。有人提议只查最大摊位,大摊位规矩了,小摊和临时棚却成了漏税最多的地方。

年轻账房换了办法。他按摊位类型、金额大小、历史错误和新开时间分层,每晚抽一部分细查;高风险摊位抽得更密,低风险摊位也保留随机机会。

几周后,市集发现抽查不是偷懒。账房有力气把被抽中的账看深,所有摊主也知道自己可能被看见。监督压力没有消失,只是换了形状。

当某类摊位连续出错,次月抽得更多;当规则修改,受影响账本专门进入样本。总账房终于学会用有限眼力维持真实监督,而不是把眼睛铺满整座市集。

抽样也不是永远固定。雨季临时棚增多,夜市账本就被抽得更密;节后退货多,相关摊位也会进入重点。随机给所有人压力,分层让高风险处得到更多眼力。

总账房还要求每次抽查都留下理由和结果。若某层长期干净,比例可以降;若某层连续出错,就调高。市集学会用小部分深查,逼近整座市场的真实状态。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:抽样复核

Sampling Review 是在无法全面人工复核所有 AI 输出或 Agent 任务时,按风险、场景、客户、金额、历史问题和随机性抽取样本进行人工检查。它能在成本可控下发现系统性缺陷、估计质量水平、校准自动评测,并为反馈闭环提供高质量标签。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 几百个摊位账本:大规模 AI 输出和自动化任务
  • 全看完只能草扫:全面人工复核不可持续
  • 只查最大摊位:单一风险视角造成盲区
  • 分层抽样:按场景和风险设计复核样本
  • 随机机会:防止未知问题长期逃逸
  • 抽样比例调整:基于质量信号的动态审核策略

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

QAaudit testingcontrol testinghuman reviewmonitoring