← 返回概念解读

Concept Fable精修版

拒绝采样

Rejection Sampling · Fine-tuning

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

先烧一百只杯,再留下十二只

瓷窑烧杯,出窑后总有高低不一。师傅不可能让每只都进贡,便在光下逐个挑:裂口、歪底、釉色浑的放到一边,合格的才盖章。

学徒问,既然会丢掉,为何不一开始就只烧好杯?师傅说火候有波动,泥也有脾气,多烧几只再挑,常比赌一只完美更稳。

第一轮挑选太粗,许多杯看似圆,盛热茶才渗水。第二轮师傅加了水试、敲声和摆平检查。挑掉的更多,留下的也更可靠。

但窑主也看到账本:烧太多会费柴,挑得太严会无杯可交。于是他们按贡品、日用和练手杯分不同门槛。

窑主曾试过只烧一只最精心的杯。师傅守了整夜,出窑仍因一阵冷风裂开。又试着降低标准,杯子倒是都能卖,进贡时却被退回半车。

后来窑里按用途多烧一批,出窑后分灯下、桌上、水中三轮挑选。裂的不要,略歪的卖给茶棚,釉色正的送去官府。挑掉坏杯看似浪费,却让最终交出去的杯子更稳。火和泥有不确定,先生成多个候选,再按标准拒掉不合格的,常比赌一次完美更可靠。

窑主也学会按成本控制数量。候选太少,挑不出好杯;烧得太多,又浪费柴火。真正的手艺,是知道要生成多少只、用什么标准筛、被拒的杯子还能不能转作别用。窑主也学会按成本控制数量。候选太少,挑不出好杯;烧得太多,又浪费柴火。真正的手艺,是知道要生成多少只、用什么标准筛、被拒的杯子还能不能转作别用。窑主也学会按成本控制数量。候选太少,挑不出好杯;烧得太多,又浪费柴火。真正的手艺,是知道要生成多少只、用什么标准筛、被拒的杯子还能不能转作别用。

这门法子靠的是先产生多个候选,再按标准拒掉不合格者。它不能替代好窑艺,却能在不确定的出窑结果里,提高最终交出的质量。

揭示

这个故事讲的是:拒绝采样

Rejection Sampling 在 AI 训练中常指生成多个候选输出,并根据质量标准只保留合格样本,用于构造更高质量的微调或偏好数据。它能提升数据质量,但依赖筛选器、奖励模型或人工标注的可靠性。企业可用它沉淀高质量客服回复、工具调用轨迹、RAG 答案和任务执行样例。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 多烧杯子:生成多个候选输出
  • 明确标准筛选:规则、reward model、eval 或人工过滤
  • 留下样杯教新学徒:用筛选样本继续训练
  • 评审偏好错误:筛选标准会塑造模型行为
  • 多生成不是目的:质量门槛决定数据价值

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

best-of-Nself-improvementSFTRLHF