← 概念解説に戻る

Concept Fable

KVキャッシュ

先に結論:KV Cache は、以前のトークンに対して計算された Transformer のアテンションのキーと値を保存する。自己回帰デコード中、モデルは生成ステップごとにコンテキスト全体のキーと値を再計算する代わりに、キャッシュされた履歴にアテンションできる。実用的な LLM サービングには不可欠だが、GPU メモリを消費し、長いコンテキスト、高並行、マルチテナントの Agent ワークロードにおける主要な制約となる。

KV Cache, Key-Value Cache · LLM runtime / optimization

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

長机会議でついに誰かが前にすでに言ったことを覚えている

山寺の蔵経楼はもともと一つの慣れた方法で運営されていた。講経僧は説法を始める時、いつも巻頭からゆっくり铺垫し、旧来のリズムで問答に答える時はほとんど失敗しなかった。聴衆も前文を一緒に振り返ることを喜んでいた。

後に事は大きくなった。長巻は後半夜まで続いてもなお説明を要し、催促の声は早朝から夕方まで並んだ。新人はこれを数量の問題と思い、人を増やし時間を増やせばよいと考えた;老人はしかし、多くの細部がすでに旧来の方法で耐えられる境界を越えているのを見た。

掌事人は最初の方法を試した。問いごとに巻頭から読み直すのだ。最初の数日は確かに改善が見え、列は短くなり、外の人もこの技芸がついに新しい場面に追いついたと思った。

しかし厄介ごとはすぐに姿を変えた。進度を急ぐために検査を省く者、不適切な仕事を無理に古いプロセスに押し込む者、最も熟練した者がかえって雑事に足を取られた。誤りは常に表に見えるとは限らず、納品後に初めて現れることが多い。 古い帳簿は来歴を説明できても、次にどう直すべきかは説明できない。

主事人はさらに規則を加え、各人にもっと署名し、もっと報告し、保護の層をもう一枚補うよう求めた。紙の上では周到に見えたが、現場はさらに遅くなった。職人たちは自分に非がないことを証明するのに忙しく、本当の亀裂は依然として元の場所で広がっていた。傍観者には結果が良くなったり悪くなったりするようにしか見えず、現場の者は速度、品質、責任のどれを先に救うべきかますます判断しにくくなった。 誰もが自分は少し多くやったと思っていたが、全体としての物事はそれによってより安定することはなかった。

寡黙な老職人はいくつかの失敗を机の上に並べた。彼は誰も責めず、皆に同じ細部を見せた。新しい制限は日常の練習にまったく入らず、納品直前に突然現れるだけだった。彼は数回の手戻りを発生順に並べ、そこで皆は、誤りがいつも同じ曲がり角で拡大されることに気づいた。

そこで工房は新規則に改めた。すでに語った段落と対応する注釈を手元の木箱に置く。最初は誰もが慣れず、手足を縛られたように感じたが、何度か繰り返すうちに、粗い近道は遮られ、本当に堅実な動作が徐々に残った。

同じ圧力に再び直面したとき、納品は派手にはならなかったが、明らかに信頼性が増した。説法僧はついに理解した。前に検証済みの手がかりを覚えておけば、後の応答が何度も起点に戻って回り道をしない。最後になってから補修すると、代償はすでに前の各選択に埋め込まれていることが多い。この新しい道はコストを消し去ったのではなく、コストを早めに可視化し、まだ変更できるうちに対処できるようにした。

明らかにする

この物語が語るのは:KV キャッシュ

KV Cache は、以前のトークンに対して計算された Transformer のアテンションのキーと値を保存する。自己回帰デコード中、モデルは生成ステップごとにコンテキスト全体のキーと値を再計算する代わりに、キャッシュされた履歴にアテンションできる。実用的な LLM サービングには不可欠だが、GPU メモリを消費し、長いコンテキスト、高並行、マルチテナントの Agent ワークロードにおける主要な制約となる。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 長机会議:LLM が token ごとに出力を生成するプロセス
  • 書記はすべての発言を読み直す:KV cache がないと履歴文脈を繰り返し計算する
  • 二種類のカード:attention keys と values
  • 次の代表がカードを確認する:decode 段階で過去の KV を再利用
  • 側廊が埋まる:KV cache の VRAM 圧力
  • 会場ごとに分離:異なるリクエスト、テナント、セッションのcache isolation
  • 最後の洞察:KV Cache は VRAM を速度に換えるものであり、LLM serving のレイテンシと並行処理能力の核心リソースである

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

Attentioncontext windowdecodingPagedAttentionmemory optimizationinference engine
京ICP备2026014272号