← 返回概念解读

Concept Fable精修版

Token 用量监控

Token Usage Monitoring · 可观测性

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

印坊终于知道墨水被哪种告示喝掉了

书院有座誊写房,所有纸张和墨条都从公库领。起初先生们只管交稿,没人记录每门课耗了多少纸、哪位学徒反复重抄。库房满时,浪费看不出来。

月底库房见底,院长才发现,有的短信被抄了十遍,有的长卷无人压缩,有的学徒为一句话翻完整本大书。纸墨并非被偷,而是在看不见的地方流走。

院长先下令少写。先生们不知该从哪里少,重要讲义被压短,闲杂告示仍被反复誊。第一次修补只喊节省,没有告诉大家哪种任务真正耗纸。

管库人设了用量牌。每次誊写记下字数、纸张、墨条、所属课程和是否重抄;异常用量会被提醒,常用范本则另做简版,免得每次重来。

先生们一开始嫌被盯,后来发现用量牌帮他们找出浪费:某门课题目太含糊,学生才反复重抄;某类答复可复用;某些长卷该先摘要再誊。账不只是为了扣钱,也为了改流程。

后来书院给不同课程设了合理额度。史课长卷多,额度高;日常通知短,超出就提醒。若遇到大考,先生可以申请临时加纸,但要说明原因。

书院从此能控制成本,也能知道哪些活动真正值纸墨。会写很重要,知道写一次花了多少、为什么花、能不能少花,同样重要。看见用量,才谈得上治理。

后来院长批准新课程前,会先问誊写房预估用纸。不是为了阻止先生讲课,而是避免一个含糊作业把公库耗空。先生们也学会先写短题、复用范本,把纸墨花在真正需要长篇推演的地方。后来誊写房每周贴出用量榜,让浪费和节省都能被看见。一旦看见流向,节省就不再靠吼。看不见时,谁都以为自己只是多写了一点。

揭示

这个故事讲的是:Token 用量监控

Token 用量监控会追踪输入 token、输出 token、总 token、成本、用户、产品区域、模型和请求类型。它让团队知道钱花在哪里、哪些请求异常、哪些功能毛利受压。

它可用于预算告警、成本归因、滥用检测、提示词优化、缓存决策和单位经济分析。输入和输出 token 要分开看,因为成因不同,价格也可能不同。

隐喻映射

  • 墨水:tokens and model API cost
  • 进纸字数:prompt / input tokens
  • 出纸字数:completion / output tokens
  • 重印次数:retries or repeated calls
  • 客户和用途:usage attribution dimensions
  • 预算提醒和异常告警:token budgets and cost monitoring alerts

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

成本监控API 计费Token 效率