← 返回概念解读

Concept Fable精修版

Token 预算

Token Budget · Cost / context

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

书记给每次审案只发一袋灯油

县衙审案靠夜里翻卷宗。早年案子少,书记想点多少灯就点多少,油库从不紧张。

后来商事纠纷、地契争议和远方来信一起涌来。每个案子都说自己复杂,书记们把旧卷、新证、旁证全搬上桌,灯油很快见底。

县令先下令少看卷宗。结果简单案子还好,复杂案子漏掉关键证据,判完又被翻案。

他又按人分油,每个书记每天一桶。有人把油花在容易的案子上,有人为了保险把小案也翻到天亮,真正紧急的案子反而没油。

一位主簿改为按案子发油袋:普通案给小袋,疑难案给大袋,上诉案另有预留;超过油袋就必须说明为什么继续点灯。

书记们开始在开案前决定哪些卷宗值得读,哪些只需摘要,哪些证据必须保留到最后核对。几个月后,县衙不再把油袋当惩罚。它像审案前的计划:有限光亮照在哪里,决定了哪些事实能被看清。没有预算,勤奋也会把整座油库烧空。

油没有突然变多,衙门却不再在月底瘫痪。复杂案能获得足够灯油,小案也不会无意识烧掉全库。主簿还设了余油柜,专门留给突然出现的新证据、临时上诉和县令点名复核的案子,免得所有书记把油一开始就烧光。

县令明白,有限灯油和人力不能靠事后抱怨管理,必须在每个案子开始前成为预算。主簿还给书记准备了取舍办法。案卷先看目录,旧证先看摘要,关键条款留到最后核对;若要点更多灯,必须说明新增灯油会换来哪条判断。复查时,他们会抽查几起旧案,看看油袋大小是否匹配案情,避免简单案过度翻卷,疑难案却在关键处熄灯。书记们也学会先问判案需要什么光,而不是把所有卷宗都搬到灯下。

揭示

这个故事讲的是:Token 预算

Token 预算是分配给任务、请求、用户或工作流的 token 上限。它控制提示词长度、检索上下文、工具输出、模型推理空间和回答长度。

在企业 Agent 系统里,Token 预算是成本、延迟、上下文纪律和服务毛利的控制面。没有预算,模型很容易把便宜任务跑成昂贵任务。

隐喻映射

  • 灯油:可用 token 和相关推理成本
  • 每次审案:一次 LLM/Agent 任务
  • 卷宗:上下文、检索内容和工具输出
  • 按人分油:粗糙的全局限额
  • 按案子发油袋:按任务/工作流分配 token budget
  • 超额说明:预算溢出策略与成本治理

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

context windowcost control