← 概念解説に戻る

Concept Fable

Medusa

先に結論:Medusa は投機的デコーディングの一種で、基礎モデルに複数のデコードヘッドを追加し、これらのヘッドが未来の token を並行予測し、基礎モデルがどれを受け入れ可能か検証する。

Medusa · 推論

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

書院は主筆に、先読みできる副筆を何本か加えた

山城書院では、主筆の先生が毎日県のための返信を書いていた。彼は安定して書き、誤字も少なかったが、毎回一筆しか書こうとしなかったので、学生たちは机の周りで次の一句を待ち、列はどんどん長くなった。

院長はまず一人の快速学徒を呼び、下書きを先に書かせ、主筆は正しい文を選ぶだけにした。学徒は速かったが、時に語調がずれ、主筆が下書きを照合するにも心力を使った。

さらに三人の徒弟を呼び、それぞれ一版を書かせてはどうかという提案があった。机の上の草稿は小山のように積み上がり、主筆がまだ添削を始めないうちに、院長はどの紙を誰が書いたか分からなくなり、節約した時間は整理に食われた。

後に一人の版刻師が別の方法を提案した。別の机を設けるのではなく、主筆自身の筆架に数本の副筆を加えるのである。主筆が現在の字を書くとき、副筆がついでに後ろの数文字を推測し、最後は依然として主筆本人が一度に検収する。

副筆は独立した先生ではなく、単独で文章を直すこともない。それらは同じ主筆の習慣からいくつかの予測方向を分け、起こりうる続きを前もって机の上に並べるだけだ。

最初、副筆はよく間違えたので、主筆は前の正しい部分だけを受け取り、誤りを消して書き続けた。正確に推測できれば一度に何文字も進み、正確でなければ最終的な手紙の意味は変わらなかった。

書院はついに外で草稿チームを維持する必要がなくなった。手紙は依然として主筆が最終稿を定め、副筆は次の小段落の可能性を広げるだけで、主筆が何度も繰り返す手の上げ下げを減らす。

院長はこれで、速さは必ずしも別のもっと小さな作者から来るわけではないと見抜いた。時には同じ作者の上に検証可能な並行予想を増やし、遅い確認動作が一度により多くの未来を覆うようにするのだ。後に主筆は副筆に規則を定めた。現在の句勢から先へ推測するだけで、別の議論を始めてはならない。主筆が確認したところまで、手紙は進む。副筆が続けて外せば、まず片付け、机が乱れすぎないようにする。学生たちはこれで、副筆の力は主筆の代わりに決めることではなく、正しい可能性のある後続を先に並べ、確認という遅い作業の繰り返しを減らすことにあると理解した。後に院長は、副筆の数も欲張ってはならないと気づいた。机の上の予想が混みすぎると、主筆はかえって遅くなる。素早く検収できる少数の推測だけが、本当に時間を節約する。推測は素早く検証できてこそ、机の上に残る資格がある。

明らかにする

この物語が語るのは:Medusa

Medusa は投機的デコーディングの一種で、基礎モデルに複数のデコードヘッドを追加し、これらのヘッドが未来の token を並行予測し、基礎モデルがどれを受け入れ可能か検証する。

古典的な投機的デコーディングとの違いは、別途独立したドラフトモデルを接続する必要がないため、デプロイがより簡単になる可能性がある点だ。並列予測のトークン受け入れ率が十分に高ければ、デコーディング遅延を削減できる。

メタファーのマッピング

  • 主筆:base / target model
  • 副筆:Medusaの複数のdecoding heads
  • 後ろの数文字を先に推測する:parallel candidate token prediction
  • 主筆が一括検収:verification by the base model
  • 別途ドラフトチームを設けない:個別の draft model が不要
  • 間違えたら取り消し:検証に通らない候補は最終出力を変えない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

speculative decoding並列デコーディングdrafting heads
京ICP备2026014272号