← 返回概念解读

Concept Fable精修版

词元

Token · Tokenization

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

账房按小木片收费以后

这里的关键在于把概念的约束落实到具体对象,而不是只描述一个结果。

随着规模和例外增加,原先靠临时协调维持的办法开始暴露盲点。

短期补丁让表面恢复秩序,却没有解决概念真正约束的对象。

老匠人转而记录条件、动作、结果和责任链,让后续调整有据可查。

老译师教他把文字切成常用小块:有时一字一块,有时半个词一块,标点也可能占位。这一步麻烦,起初还拖慢了工期;可几轮之后,返工少了,师傅也不再凭脾气改规矩。大家终于看见,Token 数决定可用上下文、成本和吞吐,Agent 系统应按输入来源分别计量。

先数清小片,再安排上下文、预算和输出上限。

学徒终于明白,长短不只看肉眼字数,还看被切成多少可搬运的小片。从那以后,文字进入工坊前先被拆成小单位,成本和容量都跟这些小单位走。

概念落点

这个故事讲的是:词元

Token 是模型处理文本或数据的基本单位,可能是一个词、词片、字符片段、标点或符号。模型的上下文窗口、API 计费、延迟、吞吐和输出长度通常都按 token 计算,而不是按字符或单词。企业 Agent 需要监控输入 token、输出 token、系统提示、检索材料和工具结果占用,才能控制成本和避免截断。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

故事对应

  • 小木片或铅字:token
  • 排字机:大语言模型
  • 按页或字数估价:用人类单位误估 token 成本
  • 日志切出大量小片:不同文本形态 token 密度不同
  • 先数片:token accounting
  • 摘要、筛选、分批:token 超预算时的上下文管理
  • 最后洞察:Token 是模型容量、成本和生成过程的基本计量单位

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

tokenizationvocabularycontext windowlogits