← 返回概念解读

Concept Fable精修版

步骤成功率

Step Success Rate · Evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

长路不是只看终点有没有到

白沙驿站负责把急件送到山后的军营。过去路短,驿卒只要最后把信交到,就算成功。

后来路线变长,要换马、过关、盖章、渡河、找向导。有时信最后到了,途中却绕了远路、错盖了章,甚至差点交给了旁人。

驿丞的天真修补,是只奖励最终送达。驿卒们开始拼命冲终点,中途记录越来越少。信到了,没人知道哪一步险些出事。

一次大雪后,三封信都迟到。驿卒说山路难走,驿丞却分不清到底是换马慢、关口错、渡船没等,还是向导找错了。

一个老驿卒提议把长路拆成固定节点:取信是否正确,路线是否选对,关文是否齐,工具是否用对,异常是否上报,最后是否交付。

他们不再只在终点记一笔,而是在每一步盖小章。每个小章都有成功、失败、重试、人工接管和原因。驿站还用小章训练新人。新人不必等整趟路失败才知道自己哪里弱,第二关老出错就练关文,渡河慢就换船约定。

很快,驿站发现终点成功率掩盖了关键问题:大多数失败发生在第二次换马;有些驿卒虽然最后送达,却常常在关口靠熟人补救。军营也更愿意信任驿站。因为他们看到的不只是最后一封信,而是一条路上每个节点的稳定度。长任务的能力,藏在这些连续小成功里。

修路、换马、训练新人都有了依据。驿丞也能判断:一条路线不是整体糟糕,而是某几个步骤脆弱。他最后明白,多步骤工作要看每一步是否站稳。只看终点,会把运气和补救误认为能力。后来管事把这次经验写进日常规矩:先看场景,再看边界,最后看失败时谁能接手。只有这些都清楚,漂亮演示才会变成可交付的工作。

揭示

这个故事讲的是:步骤成功率

步骤成功率衡量多步骤任务中每个中间步骤执行正确的比例。对企业 Agent,它比单纯最终成功率更能定位质量问题:计划是否合理、检索是否命中、工具是否选对、参数是否正确、权限是否通过、异常是否处理。Step Success Rate 适合和 trace、span、错误分类、人工审核结合,用来发现哪个环节拖累整体交付。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 长途送信:多步骤 Agent 任务
  • 换马、过关、盖章、渡河:规划、检索、工具调用、权限校验等中间步骤
  • 只奖励最终送达:只看 end-to-end success rate
  • 每一步盖小章:对 trajectory 中每个 step 打分
  • 重试和人工接管:恢复机制与人工兜底
  • 第二次换马问题:通过步骤指标定位瓶颈
  • 最后洞察:Step Success Rate 把复杂任务的质量拆到可改进的环节

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

trajectorytool calls

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。