← 概念解説に戻る

Concept Fable

デコード段階

先に結論:デコード段階はプリフィル後の自己回帰生成段階である:モデルは一度に一つのトークンを生成し、各ステップで KV キャッシュを読み、次のトークンを計算し、新しいキャッシュを追加し、場合によってはトークンストリームをユーザーにストリーミング返却する。

デコード段階 · LLM推論

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

灯台は毎回次の一筋の光だけを回す

海峡の灯台は夜に船へ信号を送る。守塔人はまず風向、潮汐、船位を読み、それから順に灯鏡を回し始める。最初の光が灯ると、船員は少し安心するが、完全な信号はまだ長い。各光は前の光に続かなければならず、さもなければ遠くの船は意味を読み間違える。

町長はまず灯守に、信号全体を一度に照らし出すよう求めた。灯守は首を振った:灯鏡の位置、前の光の方向、次の光の選択は互いに影響し合い、すべて同時に発することはできない。

複数の徒弟にそれぞれ一段ずつ担当させたところ、信号が途切れ、船が港の指令を誤解した。順序生成の仕事は、単純に多人並列に切り分けることはできない。

老守塔人は別の点を改良した。すでに使った風向と船位を転盤のそばに記録し、光を一束放つたびに更新して、航海簿を毎回すべて調べ直さないようにした。さらに複数の灯台を同じ拍の中で働かせた。各灯台は自分の次の光を放ち、油とリズムを共有するが、それぞれの順序は乱さない。

海峡のスループットは高まり、一隻ごとの待ち時間もより制御できるようになった。速度を本当に制限するのは、各光の束の間に飛ばせない依存関係があり、各ラウンドのビートの計算コストがあることだ。町長は理解した。灯台守は一束また一束と信号を送っているのだ。各束は前の方向を見てから、次の束をどう回すか決める。

若い灯台守は遅いのを嫌い、一度にすべての灯鏡を並べようとした。老灯台守は止めた。前の光は次の光の意味を変える。船が『北へ』を見た後、続く『三刻』が北行き三刻だとわかる。もし順序が違えば、信号の連なり全体が変質する。

後に海霧が濃くなり、灯台守はなおさら乱れてはならなかった。一束を放つたびに歯車が戻るのを待ち、今放った光に合わせて次の一束を調整した。前の選択が安定していれば後も順調に進むこともあり、前で迷えば後もそれに合わせて変えねばならないこともある。船が受け取るのは一塊の光ではなく、一束ずつ伸びていく文だった。

後に灯台を最適化するとき、最初の一束の光だけを見なくなった。最初の一束の後の安定したリズムこそが、長い信号が荒波と夜航に耐えられるかを決める。

明らかにする

この物語が語るのは:デコード段階

デコード段階はプリフィル後の自己回帰生成段階である:モデルは一度に一つのトークンを生成し、各ステップで KV キャッシュを読み、次のトークンを計算し、新しいキャッシュを追加し、場合によってはトークンストリームをユーザーにストリーミング返却する。

自己回帰依存とは、次の token が前の token に基づいて決まらなければならないという意味です。KV キャッシュは前文の計算結果のキャッシュです。デコード段階は毎秒 token 数と総完了レイテンシに直接影響し、特に長い回答やリアルタイム Agent 体験に影響します。

メタファーのマッピング

  • 灯台の信号:streamed model output
  • 最初の光の後も続けなければならない:TTFT is only the start; decode controls remaining latency
  • 各光線は順番に:autoregressive dependency
  • 転盤脇の記録:KV キャッシュ
  • 複数の灯台が同じリズムで:batching multiple sequences per decode step
  • 油とリズム:GPU utilization and scheduler cadence
  • 最終的な洞察:Decode Phase の中核はトークンごとのホットパスであり、出力速度と長い回答の体験を決める

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

prefillKV キャッシュ
京ICP备2026014272号