← 返回概念解读

Concept Fable精修版

成本跟踪

Cost Tracking · LLM operations

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

账房终于知道每封信烧掉了多少油

邮馆养了许多快马,掌柜只看月底总草料钱。账房起初靠每趟差事的花费办事,熟人熟路,日子小的时候很少出错。账房意识到,月底总账只说明花了多少钱,不说明哪类请求、客户、模型或失败重试消耗了预算。

后来新业务多起来后,草料暴涨,却没人知道哪条线路最烧钱。业务扩张后,费用增长与价值脱钩;没有请求级记录,团队只能凭感觉限流,既可能浪费钱,也可能伤害质量。

第一次修补很急:掌柜先责怪马夫浪费,让所有人少喂一把草。命令所有马少吃一把草暂时压低账面,却没有找出真正昂贵的线路、重试和急件。可新毛病跟着出来,大家只盯最容易被看见的地方,远处的小偏差越积越深。

账房为每次调用记录 token、模型、工具、缓存、重试、用户和工作流,并把成本与质量结果关联,才能计算单次服务的真实单位经济。

账房给每封信挂小牌,记录走哪条路、换几匹马、是否加急、谁下的单。这一步麻烦,起初还拖慢了工期;可几轮之后,返工少了,师傅也不再凭脾气改规矩。账房终于能把花费归回具体调用和业务结果,降本决策不再靠平均削减。

从此降本不靠平均削减,而靠找到异常、优化路由、设预算和按实际消耗分摊;每一笔钱都能回到具体业务结果。

半月后发现,最贵的不是远路,而是反复改地址的急件。从那以后,钱要跟着具体差事走,才知道该省哪里、该向谁收费。

概念落点

这个故事讲的是:成本跟踪

成本跟踪衡量 token usage、provider charges、缓存节省、重试成本、工具调用成本以及按用户、客户、团队或工作流分摊的花费。企业 LLM / Agent 系统需要成本跟踪来管理预算、优化路由、识别异常、计算毛利,并支撑 outcome-based 或 usage-based 定价。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

故事对应

  • 邮馆:提供 AI / Agent 服务的企业系统
  • 月底总账:只看总云账单或供应商账单
  • 少查档少复核:没有定位成本来源时的粗暴降本
  • 拆账:Cost Tracking / token accounting
  • 先生、脚夫、旧答案:模型调用、工具调用、检索和缓存
  • 按客户和流程分摊:showback / chargeback 与 unit economics
  • 预算和告警:spend limits、alerts、routing policy
  • 最后洞察:成本跟踪把 AI 花费连接到请求、客户、质量和毛利,才能真正管理商业模型

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

token usagebudgetLiteLLMHeliconeobservabilityunit economics