← 返回概念解读

Concept Fable精修版

分词器

Tokenizer · Tokenization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

守在机器门口的切片师傅

铸字坊的排字机很强,但门口必须有一位切片师傅。任何文章进门前,都要先由他切成机器认识的小片,并给每片贴上编号。

掌柜最初以为切片师傅只是杂役。直到客户抱怨,同一段文字换到另一台机器后费用不同,长链接被切得很碎,代码里的空格也影响结果。伙计们先在报价表上写‘按大概字数估算’。账单继续飘忽,因为真正决定机器工作量的是切片师傅的词表和切法。

一次客服系统迁移机器,旧提示看着没变,实际 小片 数暴涨。原来新切片师傅对中文、标点和产品编号的拆法不同,原本能放下的上下文被挤爆了。掌柜才明白,切片师傅不是门房,而是机器接口的一部分。输入怎么变成编号,输出编号怎么还原成文字,都由他决定。

他们开始把切片师傅也纳入工程管理:记录 小片izer 版本,预估 小片 数,测试特殊字符,检查多语言和代码样本,迁移机器前先跑成本对比。

高风险系统还会固定 小片izer 相关依赖,避免部署后同一模板突然变长或截断位置改变。记录里也保存 小片 计数,便于排查成本和上下文问题。

之后再换机器,掌柜不只问机器分数,也问这台机器配哪位切片师傅、词表多大、和旧系统差多少。切片师傅把一段客户来信切给众人看:人名是一片,标点也是一片,生僻词会碎成好几片,空格和换行有时也占位置。

掌柜这才重做报价和限额,不再按肉眼看到的字数估算。换机器前,也先问门口师傅用哪本切法簿。

后来铸字坊少了许多争执。文章进门前先被切成小片,切法不同,速度、费用和能装下的内容都会跟着变。他说:机器吃进去的不是原文,而是切片师傅交给它的编号;理解这道门,才能管住容量和成本。

揭示

这个故事讲的是:分词器

Tokenizer 是把文本映射为 token IDs、并把生成的 token IDs 还原为文本的软件组件。它通常包含词表、分词算法和特殊 token 规则。不同模型或版本可能使用不同 tokenizer,导致同一文本的 token 数、截断位置、成本估算和多语言表现不同。企业 Agent 应在成本预估、上下文预算、模型迁移和日志分析中显式管理 tokenizer。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 切片师傅:tokenizer
  • 贴编号:text to token IDs
  • 把编号还原文字:detokenization
  • 换机器后费用不同:不同 tokenizer 的 token 计数差异
  • 记录版本和测试样本:tokenizer 工程治理
  • 固定依赖:避免生产行为因 tokenizer 变化而漂移
  • 最后洞察:Tokenizer 是模型输入输出边界上的关键软件组件

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

tokenizationvocabularyBPESentencePiecedetokenization