← 概念解説に戻る

Concept Fable

ドラフトモデル

先に結論:ドラフトモデルは投機的デコーディングにおけるより小さく高速なモデルで、まず候補トークンの列を提案するために使われる。その後、目標とする大規模モデルがこれらの候補を検証し、自身の分布に合うプレフィックスのみを受け入れる。

Draft Model · Serving optimization

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

速書きの学徒はまず草稿を出し、老書記は押せる印だけを押す

県衙に老書記がいて、判決文は安定していたが、毎回一文しか書かなかった。案件が増えると、百姓は院の外まで列をなし、皆彼が正確だと知り、また彼が遅いことも知っていた。

県令は速筆の学徒を呼んだ。学徒は最終判決文を担わず、そばで案情に基づいて可能な後文を数句先に書き、老書記に渡して確認させた。最初、県令は学徒に多ければ多いほど書かせた。机の上は草稿で埋まり、老書記は照合しきれず、多くの草稿は書き出しからずれていて、丸ごと捨てるしかなかった。

後に彼らは規則を定めた。徒弟は非常に速く、文体は老書記に近く、草稿の長さは適度でなければならない。老書記は一度に一段を確認し、数句受け入れられればその数句を取る。徒弟の推測が当たれば、老書記は何段か階段を飛び越えたようになる。外れれば、老書記は最初の誤字の箇所から自ら書き続け、最終的な判決は依然として彼の判断による。

経理係は気づいた。徒弟が弱すぎると照合が無駄になり、徒弟が大きすぎるとコストを削減できない。最適なのは安く、速く、十分に似ていることで、老書記と同じくらい強い必要はない。

県衙も每种案件の受理率を記録した。形式が固定された公文の草稿はよく受け入れられ、複雑な争議はほとんど通らなかった。これはすべての請求が学徒に先に走らせるのに適しているわけではないことを示している。

老書記はその後、徒弟に規則を定めた。草稿は短くし、まず最も可能性の高い数句を推測する。老書記は第一句がずれているのを見れば、段落全体を捨て、無理に直さない。徒弟も老書記の筆勢を観察し、よくある案件理由を先に整え、誤判しやすい箇所は空けておくようになった。隊伍の動きは速くなったが、判決文は最後まで老書記が筆を下ろす。

この小さな事故で人々は立ち止まり振り返った。彼らは急いでより響きの良い言い方に変えるのではなく、誤った入口、誤解されたルール、保持すべき境界を一つずつ書き出した。

県衙の人々は後に理解した。速書きの弟子の価値は老書記に代わって判決を下すことではなく、迅速に採用または破棄できる候補の文を事前に差し出すことにある。県令は最後に理解した。草稿者の職責は権威を代替することではなく、権威が確認する前に低コストで次の一段の可能性を探索し、高価な判断が無駄に歩くことを減らすことにある。

明らかにする

この物語が語っているのは:ドラフトモデル

ドラフトモデルは投機的デコーディングにおけるより小さく高速なモデルで、まず候補トークンの列を提案するために使われる。その後、目標とする大規模モデルがこれらの候補を検証し、自身の分布に合うプレフィックスのみを受け入れる。

草稿モデルは十分に速く、かつ目標モデルに十分近い必要がある。候補が頻繁に拒否されると、検証のオーバーヘッドが加速の利益を打ち消す。受理率が高ければ、全体のデコード速度は明らかに向上しうる。

メタファーのマッピング

  • 速書きの見習い:draft model
  • 老書記:target model
  • 草稿後文:candidate tokens
  • 老書記の捺印:verification and acceptance
  • 受け入れ率:acceptance rate in speculative decoding
  • 弱すぎても大きすぎても割に合わない:draft model quality-speed tradeoff

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

speculative decoding

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号