← 概念解説に戻る

Concept Fable

キャッシュオフロード

先に結論:KV キャッシュのオフロードとは、あまり活発でない KV キャッシュブロックを GPU メモリから CPU メモリや SSD へ移すことである。これによりシステムは、GPU メモリに完全に制約されることなく、より長いコンテキストやより多くの同時リクエストを支えられる。

KVキャッシュ・オフロード · 推論

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

議事堂が古い巻宗を隣の倉庫に移してから

港の仲裁院は長期契約の紛争を扱う。法官の机には契約書、添付資料、往復書簡、過去の裁定を置かなければならない。短い案件なら一つの机に収まるが、長い案件は机を埋め尽くす。

案件が増えると、書記はすべての巻宗を主卓に押し込み始めた。その結果、新案が入らず、旧案もめくれず、机の最も高価な位置がめったに調べられない古いページに占められた。

院長はまずより大きな机を買い、次に書記に字を小さく書かせた。しかし長い契約はさらに速く増え、机はすぐに埋まり、実際に審査中の段落も場所を見つけられなかった。

古い巻宗を捨てて要約だけを残そうという提案があった。何度か審査を誤った後、一部のマイナーな条項が突然結果を決めることがあり、簡単に捨てられないと皆が気づいた。

後に倉庫の管理者は巻宗を階層化した。審査中の頁は主机に置き、すぐ使う可能性のあるものは後ろの棚に置き、めったに調べないものは隣の倉庫に置く。必要なら呼び戻せるが、少し遅くなることは認めなければならない。

彼は各案件に番号を付け、甲社の契約が乙社に移されないようにした。どのページは机から離してよく、どのページは手元に残さなければならないかについても明確なルールがあった。

仲裁院はついに、より多くの長期案件を同時に処理できるようになった。代償として一部の閲覧は少し遅くなるが、主卓がすべての巻宗で溢れかえるよりはるかにましだ。

院長は悟った。問題は巻宗に価値があるかどうかではなく、異なる巻宗が占める位置の価値が異なることだ。最も高い机は最も熱く、即時アクセスが最も必要な内容に残すべきである。それ以来、長い契約案件は盲目的に主卓を争わなくなった。移動できるものは移動し、すぐ調べる必要があるものは残し、システムは階層的保管でより長いコンテキストとより高い並行性を得た。書記も移動のコストを記録するようになった。移動が多すぎれば遅くなり、少なすぎれば主卓が溢れる。各案件は快取と遠存の間でバランスを取るのであり、ただ目の前に積み上げるのではない。院長は後にこれを院規に書き込んだ。貴重な位置は最も厚い巻宗に与えるのではなく、次の瞬間に最もめくられそうな頁に与える。こうして、少し遅い取り出しが、より多くの案件の同時審理をもたらした。

明らかにする

この物語が語るのは:キャッシュのオフロード

KV キャッシュのオフロードとは、あまり活発でない KV キャッシュブロックを GPU メモリから CPU メモリや SSD へ移すことである。これによりシステムは、GPU メモリに完全に制約されることなく、より長いコンテキストやより多くの同時リクエストを支えられる。

代償はこれらのキャッシュの取り出しが遅くなることなので、容量と遅延の間でトレードオフを行います。良い戦略は、どのキャッシュブロックを GPU 内に残して「ホット」に保ち、どれを一時的に外に移動できるかを決定する必要があります。

メタファーのマッピング

  • メインテーブル:GPU memory
  • 隣の倉庫:CPU RAM または SSD
  • 長い契約書の巻宗:長コンテキストが生む大量の KV cache
  • より大きな机を買う:単に GPU メモリを増やす
  • 古い巻宗を捨てる:安全でないコンテキスト切り詰め
  • 階層配置:KV cache offloading policy
  • ワンテンポ遅れ:offload によるアクセス遅延
  • 最終洞察:KV Cache Offloading はより遅いストレージで容量を拡張し、長コンテキストと高並行に適するが、遅延コストを管理しなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

KV キャッシュlong contextmemory optimization
京ICP备2026014272号