← 概念解説に戻る

Concept Fable

動的バッチ処理

先に結論:Dynamic Batching は In-flight Batching とも呼ばれ、他のリクエストが完了するにつれて新しいリクエストを実行中の推論バッチに追加する。これは continuous batching と密接に関連し、LLM サービングシステムが変動するリクエスト長の下で GPU 利用率を改善するために用いられる。スケジューラはスループットの向上と、公平性、優先度、メモリ圧迫、テールレイテンシとのバランスを取らなければならない。

Dynamic Batching / In-flight Batching · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

渡し船は航行中に次の貨物を接続することを学んだ

江口の埠頭では大きな船で荷を運ぶ。古い規則は、一船が満載になれば船倉を閉じ、すべての荷が終点に着いてから次の船を開けるというものだった。船内に遠路の重い荷が一箱あれば、隣の近路の軽い荷も一緒に待たねばならない。

繁忙期になると、埠頭には長い行列ができた。軽貨の商人は不満を言い、一箱の急ぎの手紙が船一杯の茶磚を待たねばならない。重貨の商人も不満で、船倉は同じ航路の貨物を待つために半分空いていることが多かった。

船長はまず船をより細かく分け、小舟は短距離、大船は長距離を走らせた。しかし潮と荷量は毎日変わり、小舟は空で走ることもあり、大船は遅い荷に足を引っ張られ続けた。

老いた调度は積み込み方法を変えました。船が途中の小さな港に着くと、既に到着した荷はすぐに降ろされます。空いた区画が大きさに合えば、同じ方向の新しい荷を載せます。荷を替えるたびに、誰がどの区画から降り、誰がどの区画に補充し、次の港で誰が引き継ぎを担当するかを、船室の札に記録しました。

最初、水夫たちはでたらめに補填し、壊れやすい磁器を鉄器の下に押し込むところだった。そこで调度は規則を加えた。貨物の種類、目的地、重量、優先度が一致しなければならず、積み替えは舱牌官だけが登記できる。流動性は回転を高められるが、記録を失えば混乱になる。

最初の週にも失敗があった。水夫は新しい荷物を引き受けることに気を取られ、急ぎの手紙の箱を遠回りの船室に押し込みそうになった。そこで老いた配車係は、荷を入れ替える前に必ず目的地、残りの路程、船室の大きさを確認するよう定めた。引き受けられるものだけを引き受け、満載にしようと無闇に引き受けてはならない。

新しい積み込み方法で埠頭はより忙しくなり、より規則も必要になった。水夫は船の航行中に格子を見、方向を見、残りの路程を見なければならず、船全体の終了を待つだけではいられない。軽い貨物はもはや遅い貨物に縛られず、船倉も硬直したバッチのために空くことはなくなった。 後に船長は中間の小さな港に着くたびに、まるで次の一手を打つ碁のように考えた:どの貨物がすでに着いたか、どの格子が使えるか、どの新貨物が途中でつなげられるか。船は死んだバッチで止まることなく、航行そのものがスケジューリングの一部になった。

何度か往復した後、船は一括で同じ運命を共にするのを待たなくなった。近路の貨物は時間通りに降ろされ、長路の貨物は進み続け、空舱も減った。船長は理解した。バッチは必ずしも最後まで一緒の死部隊ではない。進行中に規律をもって降ろし、補充し、並べ替えることで、スループットと秩序が同時に存在できる。

明らかにする

この物語が語るのは:動的バッチ処理

Dynamic Batching は In-flight Batching とも呼ばれ、他のリクエストが完了するにつれて新しいリクエストを実行中の推論バッチに追加する。これは continuous batching と密接に関連し、LLM サービングシステムが変動するリクエスト長の下で GPU 利用率を改善するために用いられる。スケジューラはスループットの向上と、公平性、優先度、メモリ圧迫、テールレイテンシとのバランスを取らなければならない。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 渡し船:モデル serving リソース
  • 船全体で一批:従来の固定batch
  • 途中荷降ろしと空舱:シーケンス完了後にbatch slotを解放
  • 航行中に新貨物を受け取る:in-flight batching
  • 貨物ラベル:リクエスト長、priority、tenant、memory footprint
  • 船体のバランス:VRAMとスケジューリングの制約
  • 最後の洞察:Dynamic Batching の要点は、実行中のバッチに補充して GPU の待ちを減らすことだが、レイテンシと公平性を犠牲にしてはならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

continuous batchingvLLMTGIserving throughput

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号