← 概念解説に戻る

Concept Fable

キャッシュ

先に結論:キャッシュとは、LLM アプリケーションにおいて既存の応答、embedding、検索結果、ツール結果、または prompt prefix を再利用し、レイテンシ、コスト、重複するモデル呼び出しを削減することである。キャッシュ設計では、ヒット率、無効化戦略、意味的等価性の判断、権限分離、データの鮮度、エラーキャッシュのリスクに注目する必要がある。

Caching · LLM infrastructure optimization

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

茶館は毎回同じやかんの水を沸かし直さなくなった

山路茶館は毎日、旅人を迎えていた。多くの人が同じことを尋ねた。東渡口まで何里あるか、どこで馬を乗り換えられるか、雨の日はどの道が崩れるか。店員は尋ねられるたびに奥の間へ走って道案内帳をめくり、炉の火は燃え、客は列を作っていた。

店主はまず店員に速く答えさせた。速くはなったが、昨日の晴天の路面状況を今日の豪雨の答えに使う者がいて、二台の貨車が泥にはまった。手間を省くにも新旧を見なければ、誤答まで省いてしまう。

後に店主はカウンターに小さな木箱を置き、最もよく聞かれ、短期的に変わらない答えを札に書いた。東渡口の里程、馬厩の位置、城門の時刻。各札の裏にはいつ書かれ、いつ再確認するかが記されている。雨、土砂崩れ、官道封鎖に遭遇すると、札はすぐに裏返されて無効になる。

店員はまた見分けることを覚えた。「東の渡し場まで何里」と聞かれれば札を直接取ってよい。「今日、陶磁器を運ぶのにどの道が最も安全か」と聞かれれば、帳簿をめくり、荷運び人に尋ねなければならず、手を抜けない。繰り返され等価な問いだけが、箱から答えを取るに値する。

茶館はまず壁にFAQを貼った。晴れた日はよく機能したが、雨の後はめちゃくちゃになった。朝は渡し場が開いているが、午後に水が増せば止まる。店員が壁の古い答えを暗記するだけなら、熟練するほど危険になる。

老店主は二層の札に変えた。安定した事は木札に書き、路面状況、船便、馬価など変わる事は消せる湿札に書き、最後に確認した時刻を記した。客が同じ質問をすると、店員はまず新鮮かどうか見る。新鮮ならすぐ答え、期限切れなら奥に戻って再調査する。時短の前提は、答えがいつ壊れるかを知ることだ。

給仕たちはどの返答が決して怠けられないかも知った。道を尋ねるなら古い札を見てよいが、崩落を尋ねるなら新しい報せを調べねばならない。茶の値段を尋ねるなら直接答えられるが、薬舗が開いているかは再確認が必要だ。速い答えと正確な答えの間には、新旧の判断が要る。給仕たちはどの返答が決して怠けられないかも知った。道を尋ねるなら古い札を見てよいが、崩落を尋ねるなら新しい報せを調べねばならない。茶の値段を尋ねるなら直接答えられるが、薬舗が開いているかは再確認が必要だ。速い答えと正確な答えの間には、新旧の判断が要る。

茶館はすぐに静かになり、薪と人手は本当に判断が必要な事柄に残された。再利用可能な回答を覚えることは怠惰ではなく、繰り返しコストを取り除くことである。境界が不明確なら、古い答えが新しい厄介事になる。

明らかにする

この物語が語るのは:キャッシュ

キャッシュとは、LLM アプリケーションにおいて既存の応答、embedding、検索結果、ツール結果、または prompt prefix を再利用し、レイテンシ、コスト、重複するモデル呼び出しを削減することである。キャッシュ設計では、ヒット率、無効化戦略、意味的等価性の判断、権限分離、データの鮮度、エラーキャッシュのリスクに注目する必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 茶馆:LLM / Agent アプリケーションサービス
  • 毎回お湯を沸かし直す:各リクエストがモデル、検索、ツールを完全に呼び出す
  • 壁によくある答え:粗い静的キャッシュ
  • いくつかの小さな棚:response cache、retrieval cache、embedding cache、prefix cache などのキャッシュ層
  • 期限と適用条件:TTL、invalidation、scope、cache policy
  • 意味が近い問題:semantic caching
  • 節約される薪:token cost と latency savings
  • 最終的な洞察:キャッシュは制御された再利用によりコストと遅延を下げるが、期限切れ、権限外、または誤った結果の再利用は避けなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

セマンティックキャッシュprompt cacheresponse cache埋め込みキャッシュgatewayコスト最適化
京ICP备2026014272号