SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

把内容变成数字和存放这些数字的仓库

Embedding 是把文字、图片等内容转换为向量数字表示的过程,Vector Database 是专门用来存储、索引和检索这些向量的数据库系统。有 Embedding 不等于有检索能力,有检索系统也不等于 Embedding 质量高。

寓言

抄书人和暗号库,两件事不能混

县城里有一座大书院藏了很多古籍。院长想让学生查资料更快,找了两个助手来想办法。甲助手把每本书的重要内容抄写成暗号——一串很长的数字,每本书的暗号都不一样,意思相近的书暗号也相近。乙助手则在书院旁边建了一座暗号库,把所有暗号按目录存放,还设计了按相似度检索的方式。

甲助手做完第一批暗号,很得意地交给院长。院长问学生怎么用这些暗号查资料,甲助手说这些暗号已经写好了,查就行了。院长问从哪里查、怎么输、相似度怎么算,甲助手说这不在他的工作范围内。

乙助手来汇报工作,带来了暗号库的图纸。院长问暗号在哪里,乙助手说还在等甲助手交付。院长说你们不是一起做的吗,乙助手说甲助手只负责抄写暗号,建库是我的工作,两件事分开立项的。

后来甲助手终于把所有暗号抄完了,乙助手把它们录入暗号库。录入的时候乙助手发现,有些暗号写得潦草,数字错了好几位;有些书被抄成了暗号,但抄的人不懂专业术语,出来的暗号意思全拧了。乙助手问甲助手能不能重新核对,甲助手说他只负责抄,不负责对内容负责。

暗号库建好后的第一次检索,院长发现结果很离谱。查"经营风险"出来的全是"财务报告",看起来相关,细看完全不是一回事。乙助手查了半天,说是暗号质量有问题——有些术语的暗号跟另一个领域的术语暗号相似度太高,区分不开。

院长后来请了一位老学者来诊断。老学者说:暗号和暗号库是两件事。暗号解决的是把知识装进数字里,暗号库解决的是把数字快速找出来。你们现在的麻烦是,暗号做得好不好没人管,暗号库建得再快也白搭。

后来书院定了两条规矩:抄写暗号的人必须对原文负责,验收时抽检暗号质量;暗号库索引结构每年评估一次,按检索命中率调整。两件事变成了一条链上的前后环节,而不是两个独立的工作包。

Embedding 向量表示

将文本、图片等内容转换为高维向量,使语义相似的内容在向量空间中距离相近。是检索系统的输入,但本身不解决存储和检索效率问题。

向量数据库

专门用于存储和检索向量数据的数据库系统,支持按相似度快速找到最近的邻居。依赖 Embedding 提供高质量输入,本身不能改善输入质量。

故事对应

  • 甲助手抄写暗号:Embedding,把内容转换成向量数字表示
  • 乙助手建暗号库:Vector Database,存储和索引向量,支持相似度检索
  • 暗号写好了但不知道从哪里查:只有 Embedding 没有检索系统,无法使用
  • 暗号库建好了但暗号还没交付:只有检索系统没有 Embedding 输入,空库
  • 暗号潦草数字错位、意思拧了:Embedding 质量差导致检索结果系统性偏差
  • 暗号和暗号库是前后环节不是独立工作包:两件事必须协同设计和验收

落到 RAG 系统选型

搭建 RAG 系统时,不能只关注向量数据库的性能指标,必须同时评估 Embedding 模型是否适合你的领域。通用的 Embedding 在专业术语密集的文档上往往表现差,导致相似度检索系统性偏差。选型顺序应该是:先确认 Embedding 在你的文档类型上效果可接受,再选检索系统,最后设计存储和更新流程。两项缺一不可,但 Embedding 是前提——差的 Embedding 配再好的向量库也救不回来。