← 返回概念解读

Concept Fable精修版

词嵌入

Word Embedding · Embeddings

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

词语住进了地图

白纸城的词典很厚,每个词都住在一页纸上。查“医生”要翻到医字部,查“医院”也要翻,查“护士”又在别处。它们明明常一起出现,却像互不相识。

学堂里的孩子背词很快,可问他们“猫”和“老虎”谁更近,“猫”和“账本”谁更远,词典给不出距离。先生先用编号解决:第一页是一,第二页是二。编号方便存放,却荒唐地让相邻页的两个无关词看起来很近。

一位地图师开始按用法给词安排住处。常和病人、药、手术一起出现的词,住在同一片街区;常和航海、风、船一起出现的词,住到港口边。词语第一次有了方向和距离。找相近说法、做推荐、理解查询,都比翻纸页更顺。

但地图也继承了旧城的问题。旧报纸里把某些职业总和某类人放在一起,地图就把这种偏见画进街道;一个词有两种意思,也可能被挤在尴尬的位置。

后来,城市又发明了会随句子变化的地图。同一个词在不同上下文里,可以临时搬到更合适的街区。先生后来让词语搬进一张地图。常一起出现、常在同类句子里替换的词住得近,少有关系的词住得远。

孩子们第一次看图很兴奋:“医生”靠近“护士”,“老虎”靠近“猫”,却离“账本”很远;“苹果”还站在水果和木匠铺之间,提醒大家词会有多重身份。

这次小事故让众人停下来复盘。他们没有急着换一套更响亮的说法,而是把出错的入口、被误解的规则和需要保留的边界逐一写清。

这张地图不能替代词典释义,却让词与词之间有了距离。许多判断,终于不只靠页码和字面顺序。老先生仍保存第一张词语地图,因为它让大家明白:词不只是符号,也可以成为机器能计算的空间位置。

揭示

这个故事讲的是:词嵌入

Word Embedding 是把词或 token 表示为向量的技术,使模型能通过空间位置捕捉词语之间的统计关系和语义关系。相近词在向量空间中通常距离更近,关系模式也能被模型利用。它是早期 NLP、语义检索和现代 embedding 思想的基础,但词向量会继承训练语料中的偏见、歧义和上下文缺失。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 词语地图:向量空间
  • 相邻铺位:语义或用法相近的词
  • 只按字典顺序:离散符号无法表达相似关系
  • 旧语料的街道:训练数据中的统计共现
  • 搬错的词:歧义和偏见
  • 后来的上下文地图:从静态词向量走向上下文表示

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

embeddingword2vecGloVetoken embedding