← 概念解説に戻る

Concept Fable

プレフィックスキャッシュ

先に結論:プレフィックスキャッシュは、同じプロンプトプレフィックスで既に計算済みのKVキャッシュを再利用します。たとえばシステムプロンプト、共有ポリシーテキスト、製品ドキュメント、長い参考コンテキストなどです。キャッシュするのは共通コンテキストの計算結果であり、最終回答を直接キャッシュするものではありません。

Prefix Caching · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

埠頭の総合番号は、もはや毎日同じ書き出しの手紙を書き写さない

海辺の商会は毎日、外地の支店に返信を書いた。どの手紙も冒頭に同じ規則を書かねばならなかった:どの商品は掛け売りできるか、どの客は再確認が必要か、どの約束は権限を越えてはならないか。老書記は一字一句書き写し、若い店員はそばで指示を待って並んだ。

当初はそれほど面倒ではなかった。しかし支店が増え、手紙も厚くなり、本当の問題にまだ書き入る前に、半日がその固定の書き出しに費やされた。急ぎの注文は返事が来ず、通常の注文も夕方まで引きずられた。

掌櫃はまず書記に二人多く雇わせ、さらに冒頭の手紙を短くした。新手はより速く写せるが、依然として最初の一句から始めなければならない。冒頭が変われば、全員がまた覚え直さなければならない。数行を省いたように見えても、隊伍は依然として入口で詰まっている。

ある者は、冒頭の手紙を小冊子にして、来る者全員に配ればよいと言った。だが書記は手紙を裁くたび、冊子の内容を頭に読み込み直さねばならない。本当に費やされるのは紙と墨ではなく、どの手紙も同じ背景を一から加工し直すことだ。

会計所は後に隠し棚を作った。完全に同じ商会の書き出し、同じ権限、同じ参考帳簿については、まず古参の書記が一度処理し、再利用可能な注釈の下書きを残す。次の手紙の前半が完全に一致すれば、下書きの後ろから書き続ける。

彼はすべての手紙に下書きを流用することを許さなかった。宿の帳簿が変わり、権限が異なり、冒頭に新しい条項が挟まれていれば、必ず注釈を付け直す。再利用は、前の部分が本当に同じで、境界も同じ場合にのみ行われる。

数日後、列は明らかに短くなった。書記は精力を各手紙が本当に異なる尾部に注いだ:この未払金は承認すべきか、この顧客は線を越えているか、この納品は主管の署名が必要か。

番頭はついに悟った。節約されたのは紙ではなく、同じ冒頭部分を繰り返し処理する時間である。固定の前段が長いほど、来信が多くなるほど、隠し枠は価値を持つ。ひとたび前段が異なれば、速さを貪って再利用すると、かえって古い規則を新しい案件に持ち込んでしまう。後に商会はよく使う書き出しをいくつかに分類した。普通の掛け売り、上客の再確認、港をまたぐ納品、紛争処理。それぞれに自分の下書きと失効条件がある。老書記は言った。隠し枠が手間を省く前提は、どの部分が本当に同じ部分かを知ることにある。冒頭が似ているだけを見れば、他人の規則をこの手紙に書き写してしまう。若い手代も、まず前段を照合してから、省かれた時間を享受することを学んだ。前段に一箇所でも違いがあれば、むしろ書き直すことを選び、古い下書きを万能の鍵とはしない。

明らかにする

この物語が語っているのは:プレフィックスキャッシュ

プレフィックスキャッシュは、同じプロンプトプレフィックスで既に計算済みのKVキャッシュを再利用します。たとえばシステムプロンプト、共有ポリシーテキスト、製品ドキュメント、長い参考コンテキストなどです。キャッシュするのは共通コンテキストの計算結果であり、最終回答を直接キャッシュするものではありません。

企業エージェントでは、プリフィル計算を削減し、初回トークン時間とスループットを改善し、コストを下げられる。ただしキャッシュはモデル、トークナイザー、プロンプトのバイト、テナント、権限、バージョンごとに分離・無効化し、期限切れや権限外のコンテキストを再利用しないようにする必要がある。

メタファーのマッピング

  • 商会の開会の辞:複数のリクエストが共有する system prompt、ポリシー説明、または長いコンテキストのプレフィックス
  • 老書記は毎回書き写す:各リクエストごとに prefill を再実行する
  • 注釈付き下書き:再利用可能な KV cache prefix
  • 接頭辞が一致して初めて再利用:prefix cache のヒット条件
  • 台帳と権限の変更は再計算が必須:テナント分離、バージョン、権限、失効ポリシー
  • 隊伍が短くなる:TTFT、GPU 使用率、リクエスト遅延が低下する
  • 最後の洞察:Prefix Caching の価値は回答をキャッシュすることではなく、既に計算済みの共通コンテキストをキャッシュすることにある

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

KV キャッシュprefillsystem promptthroughput

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号