← 概念解説に戻る

Concept Fable

ページ分割アテンション

先に結論:ページ化アテンションは KV キャッシュを固定サイズで連続しないページやブロックに保存し、各シーケンスが大きな連続 VRAM を占めることを要求しない。これにより VRAM の断片化を減らし、GPU メモリ利用率を高められる。

Paged Attention · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

図書館は長い巻物を、借りたり返したりできる小さなページ箱に切り分けた

王都図書館は読者が読んでいる長巻を保存している。旧方法では、各読者が本棚を一列まるごと占有し、そのうち数段しか使わなくても連続した空間を確保しなければならなかった。

読者が少ないうちは誰も気にしなかった。後に長巻がどんどん増え、多くの書架は明らかに空きがあるのに、連続していないために新たな読者の全巻を収められなかった。司書は書架が満杯だと言ったが、実際には空間が細かく分断されていた。

館長はまず書庫を拡張し、次に一人が読める巻数を制限した。拡張は高くつき、制限は長い資料を本当に必要とする研究者を傷つけ、問題は消えなかった。

短い巻物と長い巻物を分けて置く者もいたが、長い巻物をどこまで読んだか、次の頁がいつ必要か、どの頁がもう不要かは、依然として書架の断片を増やし続けた。

ある修書師が、長い巻物を同じ大きさの小ページ箱に分けることを提案した。読者は連続した本棚を占めず、いくつかのページ箱だけを受け取る。ページ箱は分散して保管でき、目録が順序をつなぐ。

読者が一段落読み終えると、ページ箱は返却される。新しい読者がスペースを必要とするとき、本棚全体が空くのを待たずに、任意の空のページ箱を手にできる。図書館は突然、より多くの人にサービスできるようになった。長巻は依然として完全であり、読者は依然として順番に読める。ただ、下層の保管が連続した大きな塊からページ管理に変わっただけである。

館長は理解している。混雑は容量不足だけでなく、容量が細かく分割されて使えなくなることからも生じる。断片化管理は、むやみに本棚を増やすより価値があることが多い。

その後、図書館が長巻の研究者を迎えるときは、まずページ箱プールと目録を確認し、一整列の空棚があるかどうかを先に見ることはなかった。真の効率は、記憶空間を割り当て可能で回収可能な小さな塊に変えることから生まれる。後に館員は、目録自体も非常に重要だと気づいた。ページ箱が各地に散らばっていても、目録が順序を間違えて記録すれば、読者が読む長巻は途切れてしまう。使い終わっても返さなければ、ページ箱プールは枯渇してしまう。そこで、ページを借りる、返す、交換するたびに登録するようにした。分頁は空間を柔軟にし、登録は柔軟さを混乱に変えないようにする。図書館は両者を合わせて、ますます長くなる巻にサービスを提供した。その後、書庫がピークのとき、館員はまず既読のページ箱を回収し、それから新しい読者を受け入れた。空間はもはや一度に占め尽くされることがなくなり、長巻サービスに弾力性が生まれた。ページ箱が流動できてこそ、長巻は書庫を詰まらせない。断片が管理されてこそ、容量が戻ってくる。目録が信頼できてこそ、分頁は信頼できる。

明らかにする

この物語が語るのは:ページ分割アテンション

ページ化アテンションは KV キャッシュを固定サイズで連続しないページやブロックに保存し、各シーケンスが大きな連続 VRAM を占めることを要求しない。これにより VRAM の断片化を減らし、GPU メモリ利用率を高められる。

より長いコンテキストと高い並行処理のリクエストスループットを支えられ、vLLMなどのシステムの背後にある重要なメモリ管理の思想である。

メタファーのマッピング

  • 長巻:リクエストコンテキストと生成履歴
  • 連続書架:各 sequence に連続した KV cache memory を確保する
  • 空間断片:GPU memory fragmentation
  • 小ページ箱:fixed-size KV cache blocks/pages
  • 目次:block table that maps logical positions to physical pages
  • 返却ページ箱:completed sequence の cache blocks を解放する
  • 最終的な洞察:Paged Attention は KV cache をページ管理し、メモリを断片化で浪費せず、ほぼ満効率で使えるようにする

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

KV キャッシュvLLMmemory managementcontinuous batching
京ICP备2026014272号