← 返回概念解读

Concept Fable精修版

投机采样

Speculative Sampling · Inference

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

试酒师先倒三杯,庄主只确认能不能入桶

书坊赶印急信,老校书先生眼准却慢。小徒弟手快,常能猜出下一句该怎么排版,但偶尔错得离谱。

掌柜先让小徒弟单独排,速度快了,错字也多。又只用老先生,信件赶不上驿马。两边各有短处。

后来书坊改成接力。小徒弟先一口气排出几行候选,老先生紧跟着看;猜对的行直接盖章通过,猜错的从错处退回,由老先生亲自重排。

起初小徒弟太爱冒进,连续猜错,反而拖慢。掌柜便限制他一次猜的长度,并按题材挑他擅长的信。老先生仍保留最终判断。

掌柜后来给小徒弟分题材:熟悉的家书可多猜几行,官契和药方只能短猜。老先生也不逐字重看所有正确行,只在小徒弟可能偏航的地方停笔。

急信终于赶上驿马。书坊没有把慢先生换掉,也没有纵容快徒弟乱跑;它让快的一方先探路,让准的一方把关,猜中就省时,猜错就及时收回。

书坊还统计小徒弟在哪些句式上常猜对。遇到固定问候、常见落款,他可以跑在前面;遇到数字、药名和契约条件,老先生立刻收回笔。快的价值来自可验证,不来自盲目抢先。 后来老先生发现,自己不是每行都慢慢重排,而是在关键处确认。小徒弟探得准,整段就快;探得偏,退回也及时。速度来自这种可收回的前探。 掌柜后来把这种接力写成规矩:先快探,后严验,错了立即收回,不让冒进滚成大错。速度才稳。书坊终于两头都顾住。少等。生意更稳。好信誉因此慢慢立住,驿站也愿意把急件都交给他们。

书坊因此快了不少。诀窍不是让快手替代准手,而是让快手先探路,准手快速验收;对了就省时,错了就回到可靠路径。

揭示

这个故事讲的是:投机采样

投机采样,也常被看作投机解码的一种表述,是先由草稿过程采样候选 token,再由目标模型接受或拒绝。最终输出仍应保持目标模型本来的分布。

它适合在需要采样生成时减少解码时间:草稿过程先试走几步,目标模型只验证可接受部分。接受率越高,加速越明显。

隐喻映射

  • 庄主:target model distribution
  • 试酒师:draft sampler or small model
  • 几杯样酒:sampled candidate tokens
  • 庄主连续采纳:accepted speculative tokens
  • 第一处偏差重调:rejection and correction
  • 不能只给最容易选择:保持采样分布正确性
  • 最后洞察:Speculative Sampling 的核心是加速采样,同时让最终输出仍像目标模型自己采出来的结果

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

speculative decodingdraft modeltarget model