← 返回概念解读

Concept Fable精修版

任务成功率

Task Success Rate · 指标

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

邮驿站里只算出门不算送达的马车

山路邮驿站以前每天只有十几封信。站长看马车是否准时出门,马夫是否回来,就算一天平安。

后来信件变成商契、药方、诉状和急报。马车仍准时出门,可收信人常说没收到、晚收到、收到了却少一页。

站长先把出门次数贴在墙上。数字越来越漂亮,马夫也更愿意多跑短路,因为每出一次门都算成绩。

掌柜们开始抱怨:邮驿站看起来更忙,真正办成的事却没有变多。一次药方晚到后,病人家属拿着好数字问站长,这些数字到底帮了谁。

站长又想统计马跑了多少里。马夫于是绕路补里程,账本更厚,交付仍乱。新账房把每封信从接单到签收拆成几格:地址识别、分拣、装车、途中转交、收件确认、异常处理。

只有收件人确认且内容完整,才算成功。刚开始数字很难看,许多过去被“出门了”遮住的问题露出来。几个月后,出门次数少了一点,真正送达的信多了很多。

新账房还把失败分了类。有的信地址识别错,有的途中交接丢,有的送达后少页。每类失败对应不同修补,不能只把所有坏结果塞进一个桶。

站长后来仍看出门次数和路程,但它们只作辅助。真正挂在墙中央的,是完整送达的比例和失败原因。驿站终于按被雇来完成的事衡量自己。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:任务成功率

Task Success Rate 衡量 Agent 或自动化系统在给定任务上真正完成用户目标的比例。它不能只看调用次数、响应次数或流程是否启动,而要定义清楚成功条件、验收证据和失败分类。企业落地时,这个指标直接关系到能否替代人工、减少返工、支撑结果型定价。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 马车出门:Agent 开始执行或生成响应
  • 信件完整签收:任务按业务目标完成
  • 出门次数和里程:容易虚高的活动指标
  • 拆成几格:任务成功的阶段化验收标准
  • 异常处理:失败原因分类和补救路径
  • 真正送达更多:自动化带来的业务结果改善

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

端到端评估通过率OSWorldWebArena