← 返回概念解读

Concept Fable精修版

采样

Sampling · Decoding

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

从候选篮里抽一张可用票

海边工坊城每天替商户写回信。老工匠过去总让学徒写最标准的一句,回信稳,却像同一块木印盖出来。

客户渐渐不满。丢货的人收到冷冰冰的套话,改地址的人也收到同样开头。服务没有错,却听不出有人真的看过来信。

学徒们第一次修补,是完全自由发挥。信件活了,有人却许诺了不能给的赔偿,有人把掌柜的规矩说得太满,前厅每天收拾烂摊子。

老工匠拿出候选篮。每到下一句,篮里放入多张可选纸条:最妥当的多放几张,少见但合适的也留一两张;危险纸条先清走。

掌柜还调节抽纸的松紧。赔款、期限、责任归属用最稳的纸条;问候、解释和安抚可以留一点变化。低分纸条不因新奇就能混进篮里。

后来回信既不僵硬,也不乱跳。工坊明白,变化要被边界驯服。抽中哪一句看似偶然,背后却要先决定哪些可能性有资格进入篮子。

一次节日前夕,来信突然翻倍。若每封都写得一模一样,客人会觉得被敷衍;若每封都放手写,掌柜又怕承诺跑出柜台权限。候选篮在这时显出用处。

学徒们学会先确定不可变的骨架,再在安全范围里选择不同说法。抽出来的不是任性,而是在许多可接受路径中选一条。工坊的回信开始像人,也仍像一家守规矩的店。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:采样

Sampling 是按模型概率分布随机选择 token 的解码方式。它能提高多样性,减少贪心输出的机械感,但也会带来不可重复和低概率错误。企业 Agent 使用采样时,需要结合 temperature、top-k、top-p、禁用词、结构化输出约束和评测,按风险区分客服、营销、头脑风暴、代码、合规说明等场景。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 候选篮:next-token 概率分布
  • 分数高的票放得多:高概率 token 更容易被抽中
  • 清走违禁票:安全和格式约束
  • 有限采样:在可控范围内增加多样性
  • 两套笔法:不同业务风险对应不同解码策略

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

temperaturetop-ktop-pstochastic generationdecoding