Concept Fable
先に結論：プリフィル段階は推論が始まったばかりのとき、モデルがまずすべての入力トークンを並行処理し、KV キャッシュを構築する段階である。これはトークンごとのデコードの前に行われ、通常、最初のトークン時間に大きく影響する。
Prefill Phase · Inference
まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。
寓話
総督府は毎朝、厚い文書ファイルを受け取る。そこには古い判決、地券、往来文書が添付されている。新しい総督は幕僚がなかなか筆を執らないのを嫌い、最初の一句の批示を書いた者に褒美を与えると命じた。
その結果、首页だけ見て結論を出す者が現れ、後ろに挟まれた旧判がしばしば前の判断を覆した。幕僚長は説明した。最初の一句の前の沈黙は怠惰ではなく、巻全体の材料を心に読み込み、いつでも参照できる下書きに整理しているのだと。
彼はまず共用の前情と添付を集中的に通読し、その後で批示を起草するよう定めた。同じ種類の案件では既存の索引を再利用できる。資料が長すぎる場合も慎重に削減し、速さのために決定的な証拠を捨ててはならない。
最初の一句の批示は依然として待たねばならないが、その後の行文は速く一貫している。長いコンテキストのコストは口を開く前に発生することが多く、準備が完全であるほど、後は一字ずつ順調に進む。
概念の落としどころ
プリフィル段階は推論が始まったばかりのとき、モデルがまずすべての入力トークンを並行処理し、KV キャッシュを構築する段階である。これはトークンごとのデコードの前に行われ、通常、最初のトークン時間に大きく影響する。
長いプロンプト、RAG 検索コンテキスト、システム指示、Agent 状態が大きくなるほど、プリフィルコストが顕著になる。プレフィックスキャッシュ、プロンプト圧縮、チャンク化プリフィル、スケジューリング戦略によって、この部分のオーバーヘッドを削減または平準化できる。
物語の対応
Andy（任旭）判断
この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。
関連する識別
この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。