← 概念辨析に戻る

Concept Contrast Fable

速く推測しゆっくり検証する方法と、速い推測を担う小モデル

先に結論:投機的デコーディングは、小さなモデルに候補を素早く生成させ、大きなモデルが並列で検証する加速戦略です。ドラフトモデルとは、素早く推測する役割を担うその小さなモデルのことです。二つの概念はしばしば同じアーキテクチャ図に同時に現れますが、一方は手法であり、一方は手法の中のコンポーネントです——手法をコンポーネントと同一視すると、ドラフトモデルを差し替えたりアップグレードしたりする時に、全体戦略への理解を失います。

投機的デコーディングは、小さなモデルに候補を素早く生成させ、大きなモデルが並列で検証する加速戦略です。ドラフトモデルとは、素早く推測する役割を担うその小さなモデルのことです。二つの概念はしばしば同じアーキテクチャ図に同時に現れますが、一方は手法であり、一方は手法の中のコンポーネントです——手法をコンポーネントと同一視すると、ドラフトモデルを差し替えたりアップグレードしたりする時に、全体戦略への理解を失います。

寓話

料理長は学徒に野菜を切らせ、自分は味見だけする——二倍速くなったが、学徒は替えられない

城東に老舗の酒楼があった。料理長の張親方は一人で炒め、遅いが間違いはなかった。商売はますます良くなり、行列は街角まで伸び、張親方は自分のお玉が注文に追いつかないことに気づいた。彼は一つの方法を考えた:弟子の李二に各料理の主材料と副材料を先に切り揃えさせ、自分は最後に鍋に入れる三分間だけを担当する。注文が多いとき、李二はまな板で同時に四五品の材料を準備し、張親方は一品炒めて次へと続け、提供速度は二倍になった。

この方法は一年間うまく使えた。後厨が新しいメニューに変わり、特殊な刀工を要する三道の料理を加えるまで。魚を斜めに薄く切る、鶏を関節の縫い目で外す、彫花は十数刀の連続切りが必要だった。李二の刀工は家常菜しか練習しておらず、新菜の切った材料は大きさが不揃いで、張親方が鍋に入れた時、火候が合わないことに気づいた。厚いものは生煮え、薄いものは底が焦げた。

張師匠は二つの方向を試した。第一は李二に包丁技術を一から練習させること——李二は毎日二百斤の食材を切り、二か月練習し、新メニューの三道の料理がぎりぎり合格したが、その時点で厨房はまたメニューを変えた。張師匠は、メニューを変える速度が包丁技術を練習する速度より速いと気づいた。第二の方向は李二を王三に替えること——王三は別の大きな酒楼で五年間下ごしらえをしており、包丁技術は全面的だった。替えた後、新メニューは問題を起こさなくなった。

食客は厨房の方法が変わったと思ったが、実際に変わったのは人だった。張師匠の方法は変わっていない。依然として見習いが材料を切り、師匠が鍋を検める。しかしこの方法の効率は、材料を切る人に直接左右される。常連客が張師匠に、なぜ厨房がこんなに速くなったのかと尋ねると、張師匠は言った。方法は「味見を先に配る」と呼ばれるが、実際に働いているのはあの配菜係だ。多くの人が方法と道具を一つの言葉に混ぜて、他の酒楼と比べようとするが、それでは比べられない。

王三は半年働き、また新たな問題が起きた。温菜シリーズが始まると、冷菜とスープのベースを同時に準備する必要があり、王三一人では対応しきれなくなった。張師匠はさらに、冷菜を切る専門の見習いを一人加えた。今のやり方は味見を先に配置する方法だが、構成要素は一人から二人になった。もし当初、方法を見習い一人に固く結びつけていたら、人を増やすときにアーキテクチャの記述全体を書き直さなければならなかった。

後厨は後に研修マニュアルで二つの事柄を分けた。一ページにはプロセスを書いた。学徒が事前に材料を準備し、師匠が並行して検証する方法論。もう一ページには人員を書いた。現在材料準備を担当しているのは誰か、技能範囲は何か、いつ交代すべきか。分けた後、メニューを変えるには人員のページだけを更新し、プロセスを変えるには方法のページだけを更新すればよくなった。

張師匠は退職前にこう言った:方法だけを議論しても厨房は速くならないし、人だけを議論しても厨房が何をしているか説明できない。両方をはっきりさせてこそ、メニューが年に三度変わっても怖くない。

投機的デコーディング

小規模モデルで複数の候補トークンを素早く生成し、大規模モデルが並列で検証する推論高速化手法。核心は投機的実行と検証のゲームであり、特定の小規模モデルには縛られない。

ドラフトモデル

投機的デコーディングで候補シーケンスを高速生成する役割を担う小規模モデル。ドラフトモデルは交換、アップグレード、組み合わせが可能——それは投機的デコーディング戦略の一コンポーネントにすぎず、戦略そのものではない。

物語の対応

  • 味見を先に整える方法:投機的デコーディング、小モデルが素早く推測し大モデルが検証する全体的な加速戦略
  • 李二が野菜を切る:草稿モデル。候補を素早く生成する小規模モデルを担う。
  • 新メニューの誤り:ドラフトモデルの能力が不足すると投機的デコードの全体スループットが低下する
  • 李二を王三に置き換える:ドラフトモデルは差し替え可能で、投機的デコーディングの方法は変わらない
  • 冷菜の見習いを一人追加:投機的デコーディングのドラフトモデルは複数のコンポーネントを組み合わせられる
  • 研修マニュアルは二ページに分ける。方法とコンポーネントは工程文書で分けて記述すべきである

推論高速化策の設計に落とし込む

投機的デコーディングを設計する際は、まず自分のタスク種別がどのドラフトモデルに適するかを確認する——同じモデルの小型版か、専用の軽量モデルか、n-gramベースの統計的ドラフトか。ドラフトモデルの受理率は加速比に直接影響するため、ドラフトモデルを差し替える前に受理率のベンチマークを実行する。ベンダーが投機的デコーディングを使ったと言いながらドラフトモデルの具体的構成を説明しない場合、加速比の約束には拘束力がない。

京ICP备2026014272号