← 概念解説に戻る

Concept Fable

投機的サンプリング

先に結論:投機的サンプリングは、投機的デコーディングの一表現とも見なされ、まずドラフト過程が候補 token をサンプリングし、次にターゲットモデルが受け入れるか拒否する。最終出力は依然としてターゲットモデル本来の分布を保つべきである。

Speculative Sampling · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

試酒師が先に三杯注ぎ、庄主は樽に入れられるかだけを確認する

書坊が急ぎの手紙を印刷するとき、老いた校正の先生は目が確かだが遅い。小僧は手が速く、次の一句をどう組むかよく当てるが、ときどきひどく間違える。

店主はまず若い徒弟に一人で組ませた。速くなったが誤字も増えた。次に老先生だけを使うと、手紙が駅馬に間に合わなかった。どちらにも短所があった。

その後、書坊はリレー方式に改めた。小弟子がまず一気に数行の候補を並べ、老先生がすぐに続けて見る。当たった行はそのまま印を押して通過させ、外れた行は誤りの箇所から差し戻し、老先生が自ら並べ直す。

最初、小徒弟は冒進しすぎて連続で推測を外し、かえって足を引っ張った。そこで店主は彼が一度に推測する長さを制限し、題材に応じて彼が得意な手紙を選ばせた。老先生は依然として最終判断を保持した。

店主は後に小徒弟に題材を分けた:よく知った家書は何行か多く推測してよく、官契や薬方は短くしか推測できない。老先生もすべての正しい行を逐字見直さず、小徒弟が逸脱しそうなところだけ筆を止めた。

急ぎの手紙はついに駅馬に追いついた。書坊は遅い先生を交代させず、速い徒弟が勝手に走ることも許さなかった。速い側にまず道を探らせ、正確な側に門番をさせた。当たれば時間を節約し、外れればすぐに引き戻す。

書坊はまた、小徒弟がどの文型でよく当てるかを統計した。決まった挨拶やよくある落款なら、彼は先に走れる。数字、薬名、契約条件なら、老先生はすぐに筆を取り戻す。速さの価値は検証可能であることから来ており、盲目的に先を争うことからではない。 後に老先生は気づいた。自分は毎行ゆっくり並べ直しているのではなく、重要な箇所で確認しているのだ。小徒弟の探りが正確なら、段落全体が速くなる。探りがずれれば、戻るのも早い。速度はこの取り戻せる先行探索から来ている。 番頭は後にこのリレーを規則にした。まず速く探り、後で厳しく検証し、誤れば即座に取り戻し、無謀を大きな誤りに転がらせない。それで速度が安定する。書坊はついに両方を守れた。待ち時間が減った。商売はより安定した。良い評判が徐々に立ち、駅伝も急ぎの便をすべて彼らに任せるようになった。

書坊はこれでかなり速くなった。コツは快手に準手を置き換えさせることではなく、快手にまず道を探らせ、準手が素早く検収することだ。当たれば時間を節約でき、外れれば信頼できる経路に戻る。

明らかにする

この物語が語るのは:投機的サンプリング

投機的サンプリングは、投機的デコーディングの一表現とも見なされ、まずドラフト過程が候補 token をサンプリングし、次にターゲットモデルが受け入れるか拒否する。最終出力は依然としてターゲットモデル本来の分布を保つべきである。

サンプリング生成が必要なときにデコード時間を短縮するのに適している。ドラフト過程でまず数歩試し、目標モデルは受け入れ可能な部分だけを検証する。受け入れ率が高いほど、加速は顕著になる。

メタファーのマッピング

  • 領主:target model distribution
  • 試酒師:draft sampler or small model
  • 数杯の試飲酒:サンプリングされた候補トークン
  • 庄主が連続採用:accepted speculative tokens
  • 最初の偏りの再調整:rejection and correction
  • 最も選びやすいものだけを与えてはならない:サンプリング分布の正確性を保つ
  • 最終的な洞察:Speculative Sampling の核心はサンプリングを加速しつつ、最終出力を目標モデル自身がサンプリングした結果のように保つこと

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

speculative decodingdraft modeltarget model
京ICP备2026014272号