SH

Soloharness

概念 · 故事 · Agent

← 返回概念解读

Concept Fable精修版

语义缓存

Semantic Cache · AI platform / cost optimization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

茶馆掌柜终于听懂了‘还是老样子’

槐树茶馆每天早晨都很忙。有人点清茶,有人点浓茶,有人说少糖,有人说照昨天那样。新伙计每次都从头问:几分热?几勺糖?要不要姜片?老客人被问得不耐烦。

掌柜发现,很多订单虽然说法不同,其实意思一样。有人说‘昨天那杯’,有人说‘老样子’,有人说‘少糖热茶’,其实都是同一种茶。可新伙计只认字面,不认意思,所以每次都重新配。

于是掌柜做了一本常客册。不是简单记录每句话,而是记录背后的茶:张先生的‘老样子’等于热清茶少糖;李老板的‘开会那杯’等于浓茶加姜;码头工人的‘快一点’通常是大壶凉茶。

有了常客册,新伙计不再每次从头做。遇到相似请求,先查册子;意思相同,就复用已有配方;意思接近但有差异,就稍作调整;如果是新要求,再重新询问。

茶馆速度快了,浪费少了,老客人也更满意。掌柜提醒伙计:不能因为两个句子长得像就当成一样,也不能因为换了说法就完全重来。要看意思是不是同一杯茶。

槐树茶馆后来明白,记住每个字没有用,记住可复用的意思才有用。

揭示

这个故事讲的是:语义缓存

语义缓存 Semantic Cache 是根据请求的语义相似度复用已有回答、中间结果、检索结果或工具结果的机制。它不同于只按完全相同字符串命中的普通缓存,而是判断两个请求在含义上是否足够接近。对 AI 系统来说,语义缓存可以降低模型调用成本、减少延迟,但也需要控制相似度阈值和过期策略,避免复用错误答案。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 茶馆订单:用户请求或 Agent 子任务
  • 说法不同但意思一样:语义相似请求
  • 新伙计每次从头配:没有缓存时重复调用模型或工具
  • 常客册:语义缓存,保存可复用的结果和上下文
  • 老样子、昨天那杯、少糖热茶:不同表达可能映射到同一意图
  • 意思接近但有差异就调整:缓存命中需要相似度判断和补充处理
  • 不能因为长得像就当成一样:语义缓存需要阈值、验证和失效机制
  • 记住可复用的意思:Semantic Cache 的核心是按含义复用,而不是按字面复用

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

Response cacheembeddingvector searchcache hit ratetoken costlatency