← 返回概念解读

Concept Fable精修版

分词

Tokenization · Tokenization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

把整封信切成机器能读的木片

老邮局买了一台分拣机,不能直接读人的整封信。它只认识一套固定木片,每片上刻着编号。信件进机器前,必须先被切成这些木片;机器吐出的编号,也要再拼回人能读的句子。

起初信件简单,切片师傅按词切就够了。后来信里有外文、人名、货号、表格符号、笑脸和长长的地址。按词切会遇到没见过的词,按字切又太碎,案桌很快堆满木屑。

师傅先遇到陌生词就整块扔进异常箱。异常箱越来越满,机器无法处理客户最关心的新产品名、订单号和专有称呼。邮差抱怨:越是重要的新东西,越被送不进去。

他又改成每个字符都切开。机器总能读了,却需要太多木片,处理变慢,长信还没读完,木片盒就满了。账房发现,同一封信被切得越碎,花费越高,能装下的内容越少。

邮局发现,切法本身会影响机器能看见什么、成本多少、长信能装多少,以及某些语言是否吃亏。于是他们训练了一套切片规矩:常见片段合在一起,罕见词拆成可组合的小片,空格、标点和特殊符号也有明确处理办法。

第一版规矩偏向本地话,外地姓名被切得七零八落。师傅又把各地来信放进练习堆,让常见搭配自己长成更大的木片,少见组合仍能拆开拼。切片不再是随手一刀,而是一套可复用的约定。

后来邮局换了新分拣机,旧切片规矩不能直接混用。相同文字在不同机器前可能被切成不同数量的片,账房和师傅都要重新校准。文字没变,入口的切法变了,后面的计数和理解都会跟着变。

后来账房统计不同切法的开销,发现有些语言总被切得更碎,处理同样一封信却要更多木片。邮局便把切片规矩也纳入验收:不只看机器会不会读,还看它如何切、切得是否公平、成本是否可控。

揭示

这个故事讲的是:分词

Tokenization 是把原始文本转换成模型可处理 token 序列的过程。常见方法包括 BPE、SentencePiece 等子词分词方式。分词会影响 token 数量、上下文占用、成本、速度、多语言表现、代码处理和特殊字符行为。企业系统在估算成本、设计 prompt、处理日志或迁移模型时,需要意识到不同 tokenizer 对同一文本可能产生不同 token 序列。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 分拣机:模型
  • 固定木片和编号:token vocabulary 与 token IDs
  • 切片师傅:tokenization process
  • 陌生词异常箱:无法处理未知词的粗糙切法
  • 逐字符切开:过细粒度导致 token 膨胀
  • 常见片段合并、罕见词拆分:子词分词策略
  • 最后洞察:Tokenization 决定文本如何变成模型可计算的单位

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

tokentokenizerBPEvocabularycontext window