← 概念解説に戻る

Concept Fable

プリフィル

先に結論:Prefill は LLM 推論において入力 prompt/context を処理し、初期 KV cache を構築する段階である。これはモデルが最初の token を生成する前に起こり、計算量は通常、入力長に応じて増加する。prefill を理解することは、TTFT、長コンテキストのコスト、prefix/prompt caching、chunked prefill、バッチ処理、推論サービングの容量計画の分析に役立つ。

Prefill · LLM inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

語り手は口を開く前に、まず古い事件簿の全巻を机いっぱいに広げる

茶館に語り手がいて、客が一言尋ねるとすぐ続けて話せた。短い物語では、まるで答えを前もって知っているかのように、ほとんど即座に口を開いた。

後に客が厚い旧案を持ち込み、語り手にまず読み終えてから判断するよう求めた。語り手はなかなか口を開かず、茶客は彼が遅くなったと思った。

店主は彼に読みながら語るよう促した。その結果、前半は賑やかに語ったが、後半になって重要な手がかりが巻末にあると気づき、それまでの判断はすべて覆さなければならなかった。

語り手は説明する。口を開く前に、まず旧案を脳に読み込み、人物、時間、手がかりを整理しなければならない。そうして初めて、後に一文字を吐き出すたびに巻物全体をめくり直す必要がなくなる。

店主はそこで待ち時間を二段に分けて記帳した:まず巻を読む段階、次に語る段階。読巻段階の所要時間は旧案の長さに依存し、語り段階は一字一字吐き出すものだった。

茶館はまた、よく使う旧案を事前に整理することを覚えた。よく聞かれる案件を先に整えておけば、客が来たときにすぐ語りの段階へ入れる。

後に、皆はすべての遅延を一つに混ぜなくなった。長いコンテキストがどこで遅くなるか、キャッシュがどこで節約できるか、並行処理がどこで詰まるかが、はっきり見えるようになった。

語り手は言った。回答が遅いのは、必ずしも答えの生成が遅いわけではなく、時に最初の一言の前にある完全なコンテキストの消化が遅いのだと。その後、さらに厄介な仕事が来た。表面的には古い問題の拡大に見えるが、実際にはフローに隠れた隙間をすべて押し出した。誰が先に引き継ぐか、誰が変更できるか、誤りが出たらどう前の段階に戻るか。かつては顔なじみの暗黙の了解でやり過ごしていた場所が、今ではすべて明確にしなければならない。責任者はもう皆にもっと気を配れと急かすことはせず、現場をもう一度歩き直した。彼は各引き継ぎ、各失敗、各補救を記録させ、どこが単に遅いだけか、どこが結果を誤らせるか、どこが一度間違えると取り戻しにくいかを明らかにした。新しい規則が広まってから、最初の数日はうまくいかなかった。余分なチェックが増えたと嫌がる者もいれば、古い経験が侮辱されたと感じる者もいた。しかし次に異常が起きた時、皆は初めて痕跡をたどって問題の発生位置を見つけられるようになり、結果を囲んで互いに推測し合うことはなくなった。この方法は現場を魔法のように変えたわけではなく、責任、境界、戻り道を明確にしただけである。自動で完了できるものは引き続き自動で完了し、人の判断が必要な場所は立ち止まって確認し、本当に危険な動作はもはや普通の動作に混ざって一緒に通されることはない。

明らかにする

この物語が語るのは:プリフィル

Prefill は LLM 推論において入力 prompt/context を処理し、初期 KV cache を構築する段階である。これはモデルが最初の token を生成する前に起こり、計算量は通常、入力長に応じて増加する。prefill を理解することは、TTFT、長コンテキストのコスト、prefix/prompt caching、chunked prefill、バッチ処理、推論サービングの容量計画の分析に役立つ。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 厚い旧案:prompt とコンテキストを入力
  • 口を開く前に巻物を読む:Prefill段階
  • 一文字を吐き出す:Decode 段階
  • 前半の誤講:完全なコンテキストを処理せずに生成するリスク
  • 二段階で計測:prefill latencyとdecode latencyを区別する
  • よく使う旧案を先に敷く:prefix/prompt caching
  • 长上下文慢:prefill 計算が入力長に応じて増大
  • 最初の一言の前に:TTFT の重要な構成要素

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

decodeKV キャッシュ

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号