← 返回概念解读

Concept Fable精修版

Top-p 采样

Top-p Sampling, Nucleus Sampling · Decoding

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

凑够九成把握再封箱

说书人上台前,会从词袋里挑下一句。若总挑最常见的词,故事稳却呆板;若让所有冷僻词都有同等机会,听众常被怪句绊倒。

年轻说书人试过按固定数量挑词:每次只看前十个。可有时好词集中,十个太多;有时场景开阔,十个又太少。固定篮子不懂当下局面。

老先生换了办法:先把最可能接上的词按顺序放入篮中,直到这些词合起来已覆盖大部分可能,再从篮中抽。遇到明确场景,篮子自然小;遇到开放场景,篮子会大些。

有次徒弟把覆盖线放得太低,故事变得死板;放得太高,怪词又混进来。于是他按戏的性质调线:告示要稳,传奇可松。

老艺人让他先看场面再拿词。讲到王宫,常用词已经够撑起情节,篮子可以小;讲到海怪和异乡港口,常用词太窄,就要多放些可能的词进来。篮子的大小不固定,取决于前面那些词合起来是否已经覆盖了大半可能。

年轻人照做后,故事既不再死板,也少了怪句。他不是把所有词都放上台,也不是永远只拿前十个,而是先圈住一团最有希望的词,再从里面挑下一句。听众觉得新鲜,却仍能跟上。

他还学会在紧张情节收窄篮子,在轻松游历时放宽篮子。范围随场面变化,选择才既有秩序又有惊喜;听众听不见规则,却能感觉节奏稳了。他还学会在紧张情节收窄篮子,在轻松游历时放宽篮子。范围随场面变化,选择才既有秩序又有惊喜;听众听不见规则,却能感觉节奏稳了。他还学会在紧张情节收窄篮子,在轻松游历时放宽篮子。范围随场面变化,选择才既有秩序又有惊喜;听众听不见规则,却能感觉节奏稳了。

这门抽词法的妙处,在于不死守几个候选,也不放任全场乱入。先圈出最有可能的一簇,再在里面保留一点变化。

揭示

这个故事讲的是:Top-p 采样

Top-p Sampling,也叫 Nucleus Sampling,会选择累计概率达到 p 的最小候选集合,再在其中采样。它比 top-k 更能适应不同分布形状:确定任务候选少,开放任务候选多。企业 Agent 常用它控制多样性,但它不解决事实性,需要配合 grounding、引用、工具结果和安全过滤。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 累计把握达到九成:top-p 阈值
  • 箱子大小随任务变化:候选集合根据概率分布自适应
  • 从箱内按权重选择:在 nucleus 内采样
  • 禁忌表和证据检查:top-p 之外的事实和安全约束
  • 不迷信固定人数:top-p 相对 top-k 的优势

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

samplingnucleus samplingtop-ktemperature

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。