← 返回概念解读

Concept Fable精修版

回顾解码

Lookahead Decoding · Inference

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

棋馆把未来几步先摆在旁边的小棋盘上

老棋馆有位先生替人解残局。他规矩很严,每看一步只移动一枚棋子,然后重新端详全局。棋路可靠,可门外等答案的人越来越多。

学徒们想帮忙,便各自猜下一手。有人猜得快,有人猜得偏,先生还得逐个问他们为什么这么走,反而比自己看还累。

于是他们换了办法:把棋局复制到几张小棋盘上,同时试出若干串可能的连招。小棋盘不决定胜负,只负责把可疑的未来路径摆出来。

先生没有逐步重算每一个小念头。他把这些连招拿回主棋盘,一次检查哪些前缀确实能站住脚,能站住的就连续采用,站不住的从第一处断开。

有些夜里,小棋盘给出的连招只对一两步;有些夜里,一串五步都能通过。无论采用多少,最后的棋局仍由先生的主判断决定。

馆主曾问,这和请快手学徒写草稿有什么不同。先生说,小棋盘不是另一个棋手,它是在同一套局势约束下并行探索可能的 n 连步。

后来棋馆把这个流程固定下来:生成候选连招,批量验证,收下最长可靠前缀,再继续下一轮。门外队伍短了,棋谱也没有变得轻率。先生还规定,小棋盘只能提出候选,不能偷偷改主棋盘。若候选连招前两步已错,后面再精彩也一并弃掉;若前三步都稳,就一次收下,节省反复端详的时间。学徒们逐渐明白,快不是因为跳过判断,而是把等待判断的草稿先铺开。真正的权威仍在主棋盘,只是它一次能验更多相邻可能。馆主还限制小棋盘数量。摆得太少,帮不上忙;摆得太多,先生检查候选反而费时。棋馆在几次试验后找到合适规模,让提前展开的收益大过整理草稿的成本。先生还会回看弃掉的连招。若某类候选总被弃,说明小棋盘的试法要调。

先生明白,慢的根源不是每一步都难,而是每一步都必须等上一轮结束。把未来几步先展开,再由同一个判断并行验收,才让等待变短。

揭示

这个故事讲的是:回顾解码

前瞻解码是加速自回归生成的一类方法:它会并行构造候选的 n-gram 序列,再由主模型并行验证候选。它和投机解码相关,但不依赖单独的草稿模型。

可以把它理解成提前预看几步可能的词序列,而不是每一步都完全等上一步结束。若候选被验证通过,就能减少逐 token 等待带来的延迟。

隐喻映射

  • 老棋先生:主语言模型
  • 小棋盘:并行构造候选序列
  • 连招:候选 n-gram 或未来 token 序列
  • 一次检查哪些前缀站住脚:并行验证
  • 不请另一个棋手:不依赖单独的草稿模型
  • 门外队伍短了:候选被接受时,解码等待时间变短

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

speculative decodingJacobi iterationparallel decoding