← 概念解説に戻る

Concept Fable

ページ分割アテンション

先に結論:PagedAttentionは、ページドKVキャッシュ管理の具体的なvLLM方式の実装である。ブロックテーブルを使い、シーケンスの論理KV位置を物理キャッシュブロックにマッピングすることで、メモリの浪費を減らし、多数の同時リクエストに対する効率的なバッチ処理を可能にする。本番LLMサービングでは、長いコンテキストと混在するリクエスト長の下でスループットを向上させる中核技術である。

PagedAttention · LLM推論最適化

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

海運の経理係が船倉を番号付きの区画に改めてから

川に大きな貨物船があり、長短さまざまな荷をよく受ける。旧船法は各客に一列分の船室を丸ごと確保し、三箱しか置かないのか三十箱置くのかを問わなかった。短い荷は空席を占め、長い荷はしばしば収まらず、船主はいつも船が小さいと不満だった。

新しい管艙人は船艙を多くの番号付きの小さな区画に切った。客の荷は連続している必要はなく、荷票に第一区画、次の区画、順序を明記すればよい。三箱の荷は三区画を占め、三十箱の荷は三十区画を占め、空き区画はいつでも他人に与えられる。

水夫は最初、乱れを見つけるのを恐れた。倉庫係は各貨物にマッピング札を付けた。何番の箱がどの区画にあり、次の箱がどの区画につながるか、一区画欠ければすぐに調べられる。貨物はもはや記憶で長い列を作るのではなく、番号と札で順序を保つ。

ある時、大口客が急に十箱を追加した。旧法では列全体を移さねばならなかった。新法では散在する空きを見つけてつなぎ、マッピング表に数行足すだけで済んだ。別の短貨客が下船した後、空いた枠もすぐに新貨に使えた。

船は大きくならず、より多くの客を乗せられる。長い荷はもはや皆に連続して場所を譲らせず、短い荷も一列分の空間を無駄にしない。代価は管倉が正確であることだ。札が一枠ずれれば、荷の順序が乱れる。

新しい方法は最初、水夫を不安にさせた。貨物が各格子に散らばって、なくならないのか。管舱人は毎日マッピング札を抜き打ちで調べ、札が信頼できれば貨物を連続した舱位に詰め込む必要はないと分かった。空いた格子は再利用され、大口客も小口客も待ち時間が減った。

ある時、暴雨が近づき、船主は急遽ある船室を空けて救急糧を積もうとした。古い船法では列ごと荷を移すしかなかったが、新しい格子はマッピング札によって散在する空きを寄せ集められた。荷の順序は乱れず、空間も無駄にならなかった。後に船主はより多くの散発注文を引き受ける勇気を得た。短い荷はもう列全体の船室を無駄にせず、長い荷も分散して置けた。番号格子とマッピング札によって空間は活水のように流れ、荷の順序は依然として見つけ出せた。

船主は後に理解した。高回転は必ずしもより大きな船から来るのではなく、底層空間を追跡可能で再利用可能な小さな塊に切ることからも来る。順序と境界が札で管理されていれば、断片的な空間も多くの異なる長さのリクエストに応えられる。

明らかにする

この物語が語るのは:ページ分割アテンション

PagedAttentionは、ページドKVキャッシュ管理の具体的なvLLM方式の実装である。ブロックテーブルを使い、シーケンスの論理KV位置を物理キャッシュブロックにマッピングすることで、メモリの浪費を減らし、多数の同時リクエストに対する効率的なバッチ処理を可能にする。本番LLMサービングでは、長いコンテキストと混在するリクエスト長の下でスループットを向上させる中核技術である。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 貨物舱:KV cache が使用する GPU memory
  • 連続キャビン:naive per-request contiguous allocation
  • 固定番号グリッド:PagedAttention ブロック
  • 帳簿マッピング表:logical-to-physical block table
  • 長短貨物混載:mixed sequence lengths in serving
  • 同じ船でより多くの顧客:higher concurrency and throughput
  • 最後の洞察:PagedAttention は KV cache をマッピング可能なブロックとして管理し、serving システムが VRAM を無駄にせず、よりよくバッチ処理できるようにする

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

vLLMKV キャッシュbatching推論スループットGPU メモリ
京ICP备2026014272号