SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

运营指标和任务成功率:一个看机器跑得好不好,一个看机器干的活对不对

两份报表放在同一张页面,容易让团队以为看的是同一件事。运营指标告诉你系统跑得怎么样——响应时间、可用率、吞吐量;任务成功率告诉你 Agent 完成用户意图的比例。系统跑得飞快但任务失败率过半,仪表盘上的绿色数字就成了错觉。

寓言

快递站墙上的两张排行榜

城北快递站墙上贴着两张排行榜。左边那张叫“运转榜”,统计每个快递员的取件速度、日均派件量、退货处理时效。站长每天看这张榜发绩效,谁的数字高谁拿奖金。运转榜上的排名直接决定了月度分配。

右边那张叫“投诉榜”,统计客户投诉量、错投漏投次数、理赔金额。站长不太看这张——因为投诉数据是月末才汇总的,而且总是那几个人垫底,开会点一下名就过去了。两张榜单在同一面墙上,但受到的关注度差了十倍。

双十一高峰期,一个叫老罗的快递员运转榜冲到第一。他日均派件量比其他同事高出一截,取件速度也遥遥领先。站长在晨会上公开表扬,把老罗的操作方式当成标杆推广。

月底汇总数据时出了一件怪事。老罗派件量第一,但客户投诉量也是第一。仔细查才发现,老罗为了提高速度,把大件包裹习惯性放在小区门口不送上楼,代签后也不通知收件人。系统记录全部是“已签收”,运转榜上全是绿灯,但客户在投诉榜上的反馈暴露了真正的完成质量。

站长把这件事带到区域会议上讨论。区域经理在白板上画了两个圈:左边写“系统层面的指标”——取件时间、派件数、签收率。右边写“任务层面的指标”——客户收到包裹、内容完整、无投诉。两个圈有交集,但面积差得很远。

站里后来改了考核规则。运转榜上的排名不再直接决定奖金,而是加了一个门槛条件:投诉率低于区域平均线的才有资格参与排名奖励。运转榜管效率,投诉榜管正确性,缺一不可。

新规则首月效率暂时降了一点——快递员不敢再抛件了。但季度结算时,站点的退货率和理赔支出下降了近一半,利润反而上去了。站长在年终总结里写了一句话:机器跑得快是必要条件,但跑对了才是充分条件。不要把第一个当成第二个来汇报。

运营指标

衡量系统运行状态的指标——延迟、吞吐量、可用率、错误率,关注的是“系统跑得好不好”。

任务成功率

衡量 Agent 完成用户意图的比例——任务是否正确闭环、结果是否符合预期,关注的是“活干对了没有”。

故事对应

  • 运转榜的取件速度和派件量:运营指标,系统层面的运行效率
  • 投诉榜的错投漏投和客户反馈:任务成功率,用户意图是否被正确完成
  • 老罗运转榜第一但投诉也第一:运营指标好不等于任务成功率高
  • 奖金加投诉率门槛:运营指标和任务成功率联合考核,防止片面优化

落到 Agent 项目里

Agent 的监控大盘上必须有两组独立指标。运营指标看系统健康——API 延迟、Token 消耗、错误率;任务成功率看业务闭环——用户请求是否被正确理解、Agent 行动是否抵达正确结果、是否需要人工介入重试。两组指标分别设告警阈值。系统全绿但任务掉坑,比系统挂了更难发现,也伤得更深。