← 概念解説に戻る

Concept Fable

Chunked Prefill

先に結論:Chunked Prefill は長いプロンプトの prefill 処理をより小さなチャンクに分割し、長いリクエストが GPU スケジューラを独占しないようにする。これにより長文コンテキストのリクエストと短い decode 作業を交互に処理しやすくなり、応答性と公平性を改善しつつ、最終的にはプロンプト全体を処理する。

Chunked Prefill · サービング最適化

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

長巻は入館時に一度に机いっぱいに広げなくなった

ある日、文書館に極めて長い海運契約の巻物が持ち込まれた。古い規則では、まず巻物全体を広げ、番号を振り、読み終えてからでなければ、次の小さな申請を誰も扱えなかった。この日、長い巻物が唯一の大きな机を占領し、住所を一つ尋ねるだけの小さな紙切れさえ待たされた。館員たちは怠けたわけではないが、短い用件が長い用件に阻まれ、行列はいらだちを増していった。館長はまず、長い巻物は午前中だけ持ち込めるように定めた。午後は確かに楽になったが、午前は災難になった。しかも実際の業務は館長の時間割どおりにはやって来ない。

長巻を返却し、顧客に短く書き直させるよう提案する者もいた。顧客は、契約はもともと長く、館の机が小さいからといって重要条項を削ることはできないと言った。

後に调度員は長巻の先読みをいくつかの区間に分けた。館員はまず一区間を処理し、机を解放し、次にいくつかの短い紙片を挟み、それから次の長巻の区間を続ける。

長巻は捨てられず、最終的には最後まで完全に読まれる。違うのは、先読み作業が一度にすべての計算時間枠を飲み込まなくなり、短いリクエストが段と段の間に入れることだ。

館は各断片の大きさ、切り替えコスト、短冊の待ち時間を記録し始めた。細かく分けすぎると紙を往復して運び、粗く分けすぎると他人を遮る。

館長はついに気づいた。長い入力の厄介さは総量の多さだけでなく、プリフィル段階がリソースを独占しやすいことにある。プリフィルをチャンク単位でスケジューリングすれば、長短のリクエストを同じサービスの下で共存させられる。

调度員は最初、細かく切りすぎたので、館員は巻き上げ、置き、再び位置を探すだけで半日を費やした。二度目は粗く切りすぎて、短い紙片がまた隠れた。館長はようやく、段落の長さを手入れすべき技芸と見なし、気ままな一切りとは見なさなくなった。

後に館に長い契約書、短い住所、中程度の請求書が同時に来た。大きな机は呼吸するようになり、長い巻物は着実に進み、短い用事はもはや入口で飢え死にしなかった。皆はついに理解した:公平とはすべての紙を同じ長さにすることではなく、リソースが一つの紙に独占されないようにすることである。この技は館員が長い巻物の完全性を尊重しつつ、短い紙の待ちコストにも配慮することを可能にした。館の長短の仕事は、ついに同じ机で順番に進めるようになった。

明らかにする

この物語が語っているのは:Chunked Prefill

Chunked Prefill は長いプロンプトの prefill 処理をより小さなチャンクに分割し、長いリクエストが GPU スケジューラを独占しないようにする。これにより長文コンテキストのリクエストと短い decode 作業を交互に処理しやすくなり、応答性と公平性を改善しつつ、最終的にはプロンプト全体を処理する。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 非常に長い海上貿易契約:long prompt / long context request
  • 巻物全体を広げてから他人を処理:monolithic prefill blocking the scheduler
  • いくつかの区間に分けて先読み:chunked prefill
  • 短冊を挟み込む:short requests interleaved between chunks
  • セグメントサイズと切り替えコスト:スケジューリングのトレードオフ
  • 完全に読む:チャンキングは意味的入力を変えず、スケジューリングを変える

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

prefillスケジューリング
京ICP备2026014272号