← 概念解説に戻る

Concept Fable

プロンプトキャッシュ

先に結論:Prompt Caching は、以前に処理したプロンプト内容やプロンプト接頭辞を再利用し、繰り返される指示、ポリシー、例、参考資料をリクエストごとに完全に処理しなくて済むようにする。企業の LLM アプリケーションでは、リクエストが安定したプロンプト、文書、ワークフローの足場を共有する場合に、レイテンシとコストを下げられる。レスポンスキャッシュとは異なる。モデルは可変部分について新しい回答を生成するが、再利用可能なコンテキストを再計算するのを避ける。

プロンプトキャッシュ · 推論最適化

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

新聞社はよく使う版面を先に組んでおく。そうしてこそニュースは早朝に間に合う。

町の新聞社は毎朝刊行する。各版には固定の欄、署名規則、禁止用語、広告枠があるが、編集者たちは毎晩まっさらな鉛版から組み始める。

ニュースが増えた後、記者はすでに原稿を送っていたが、印刷室は固定レイアウトで詰まっていた。読者は新聞が遅いと不満を言い、館長は記者が遅く書いていると思っていた。

彼はまず記者に原稿を早く出すよう促し、次に植字工に残業させた。その結果、ニュース本文は確かに早く届いたが、活字は同じ欄頭、頁脚、声明の組を繰り返し並べていた。

よく使う言い回しを壁に貼る者もいたが、組版のたびに再確認が必要だった:これは同じ版の規則か、広告は差し替わっていないか、ある声明はまだ有効か。壁のヒントは人を助けたが、組版台を助けたわけではなかった。

ある副刊の編集者は新聞社を二層に分けた。安定して変わらない版の規則と、毎晩変わるニュースである。安定した部分を先に底版に組み、変化する部分をそこにはめ込む。底版は改版されると新しい番号が付けられる。

彼女はまた、異なる顧客の広告版を共用してはならないと定め、法的表記が変われば旧版を廃棄するよう義務付けた。似ていることは同じであることではなく、速さが境界を覆い隠してはならない。初めて誰かが旧版を誤用したとき、彼女は誤版を印刷機に入れるくらいなら、組み直すことを選んだ。

報館の朝のスピードはすぐに変わった。編集者は固定要件の繰り返し確認に時間を費やさなくなり、ニュースの事実、見出しのリスク、読者が最も関心を持つ段落の確認に集中した。

館長はようやく気づいた。多くの遅延は新しい内容からではなく、同じ指示と背景資料を繰り返し処理することから来ていた。安定した部分を前もって用意しておくことで、後の作業に余裕が生まれる。しかし用意したものも、いつ無効になるかを知らなければならない。その後、新しい特集を開くたびに、副刊編集者はまず三つを尋ねた:どの版規則が安定しているか、どの内容が毎日変わるか、どの変化が古い底版を無効にするか。新聞社はこうして多くの重複作業を減らし、速さを貪ったための誤版も減らした。速度は再利用から生まれ、信頼性は無効化ルールから生まれる。印刷室ではその後、深夜の口論が減った。どの鉛版がそのまま使え、どれが組み直しが必要かを皆が知っていた。速さも遅さも徹夜ではなく、安定部分を前もって処理することに依存していた。後の振り返りで、皆はこの経験を日常の規則に書き入れた:まず現場で何が本当に結果を変えたかを見て、それから何を残し、何を修繕し、何を制限するかを決める。

明らかにする

この物語が語るのは:プロンプトキャッシュ

Prompt Caching は、以前に処理したプロンプト内容やプロンプト接頭辞を再利用し、繰り返される指示、ポリシー、例、参考資料をリクエストごとに完全に処理しなくて済むようにする。企業の LLM アプリケーションでは、リクエストが安定したプロンプト、文書、ワークフローの足場を共有する場合に、レイテンシとコストを下げられる。レスポンスキャッシュとは異なる。モデルは可変部分について新しい回答を生成するが、再利用可能なコンテキストを再計算するのを避ける。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 報館の固定版規:system prompt、workflow instructions、few-shot examples、共有資料
  • 毎晩白紙版から開始:リクエストごとに完全な prompt を再処理
  • 下版:prompt cache または prefix cache で再利用可能なコンテキスト
  • 改版番号:prompt version と cache invalidation
  • 顧客広告は共用できない:tenant isolation と権限分離
  • 早朝速度:より低いTTFT、より低いprefill cost
  • 最後の洞察:Prompt Caching がキャッシュするのは安定したコンテキストの処理結果であり、すべての回答を固定するわけではない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

KV キャッシュプレフィックスキャッシュinference costcontext windowsystem promptlatency optimization
京ICP备2026014272号