SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

调整全部分布和只留概率集中的部分

温度在生成概率分布上做全局缩放,改变整体的确定性和随机性。Top-p 采样只保留累积概率达到阈值的候选词,截掉低概率尾部。两个参数常常同时出现,但一个调分布形状、一个做裁剪——混在一起调会把模型输出弄成意料之外的样子。

寓言

茶叶铺有两个掌柜,一个调火候,一个筛茶叶

城东茶叶铺有两个掌柜一起管炒茶。老周管火候——他手里有一个控温的铜旋钮,往左拧火变小、茶味淡,往右拧火变大、茶味浓且容易焦。老吴管筛茶——炒完的茶叶倒进竹筛,他定一个网眼口径,比网眼小的碎叶直接筛掉,留在筛面上的才是能上架的茶。

新来的伙计第一天当班,老周教他控火候,老吴教他定筛孔。伙计把两样都学了,自己上灶炒了一锅。火候拧到最大,筛孔定到最小一档——他想让茶味最浓,同时只要最完整的叶片。出锅后,筛面上剩了七八片大叶子,筛掉的碎茶叶铺了一地。整锅茶出茶率不到一成。

伙计以为有茶铺在骗他。他找了一家声称出茶率九成的铺子请教,发现那家铺子的火候拧在中间位置,筛孔也开得比较大。火候不极端,叶片碎得少;筛孔偏大,碎叶也有部分过得去。出货量高的代价是茶汤里偶尔喝到碎渣。

老周把伙计叫到灶前画了一张图:火候旋钮管整锅茶的风味范围——火小整锅偏淡、火大整锅偏焦,这是全局的。筛孔管淘汰线——往上提完整度要求就筛掉更多碎叶,往下放就允许更多叶片通过,这是局部的裁剪。全局调参数和局部裁剪参数不能同时拧到极端,它们会互相挤压。

铺子后来接了外地的定制单。有人要极淡的茶——老周把火候拧到最小,筛孔无所谓,因为碎不碎味道都淡。有人要极浓且无碎渣——老周把火候拧大,老吴把筛孔拧到极细,出茶率降到两成,单碗茶翻了五倍价。两套参数能配,但配出来的代价要提前算。

伙计最常犯的错是在茶味已经很淡的时候还把筛孔收得很紧——火候已经让整锅茶味淡了,筛孔又把仅有的几片好叶子筛掉,端上来的茶又淡又碎。老周说这叫参数叠杀,两个看似无关的旋钮,一起拧错方向,茶铺就不剩能卖的东西了。

后来铺子里多了一块铁牌挂在灶台边:火候管全锅、筛孔管保留范围。先调火候定基调,再定筛孔控完整度。两把旋钮一起乱拧,好茶叶也能炒成灰。

温度

控制模型输出概率分布的平滑程度。温度越低分布越尖锐、输出越确定;温度越高分布越平滑、输出越随机。在 softmax 之前对 logits 做全局缩放。

Top-p 采样(核采样)

从概率最高的词开始累加,只保留累积概率达到阈值 p 的最小候选集,截掉低概率尾部。阈值 p 越小,候选集越小、输出越保守。与温度作用在不同阶段。

故事对应

  • 老周的控温旋钮:温度参数,全局缩放概率分布,影响整体随机性
  • 老吴的筛孔:Top-p 参数,裁剪低概率尾部,控制候选集大小
  • 火候最大加筛孔最小:温度和 Top-p 同时极端会导致输出崩溃
  • 出茶率九成的铺子:合理的参数组合在多样性和质量之间平衡
  • 极淡茶配无所谓筛孔:温度低时 Top-p 对输出影响减弱
  • 参数叠杀:温度和 Top-p 的交互效应在极端方向会恶化输出

落到生成参数调优

调参时有顺序建议:先确定温度——温度定了基调,再调 Top-p 做尾部裁剪。温度小于 0.3 时 Top-p 的影响空间很小,因为概率已经高度集中。需要多样性的场景优先提高温度,需要避免重复低质量输出的场景优先收紧 Top-p。生产环境中建议对常用参数组合做网格测试,避免温度和 Top-p 同时推到极端方向。