← 返回概念辨析

Concept Contrast Fable

轨迹评估和步骤成功率

步骤成功率看的是每一步做对了没有——每一步独立打分,九步对八步就是百分之八十九。轨迹评估看的是全程的走向——九步全对但最后一步跳进了死胡同,整条轨迹是失败的。Agent 评估里只报步骤成功率是一个常见错觉:每一步都走对了,但走到最后客户的问题没解决。

寓言

查路标和看终点

镖局训练新车夫,分了两种考法。甲师傅站在每个路口,看车夫该拐时有没有拐;乙师傅坐在终点,看车夫是否把货真正送到。

第一个月,甲师傅很高兴:二十个路口里,车夫平均十九个都走对。镖头准备宣布训练成功。乙师傅却拿出账本:五分之一的货没有到地方。

镖头不信,调来几条完整行程。一个车夫前十九步都对,只在最后一个岔口漏听铃声,多绕四十里;另一个每一步单看都合理,连起来却绕成之字,把易碎瓷器颠坏。

甲师傅说,我能指出哪一步错。乙师傅说,我能判断整趟成没成。两人都没错,只看一边就会误判。镖局重新设计考法。逐步检查保留,用来定位坏路口;全程考核也保留,只要货没到或坏了,整趟就记失败。然后再回到路线里找是哪几步造成失败。

改完后,镖局发现一种旧问题:有些车夫每个路口都按规矩,却在等待、掉头和换道之间浪费太久。单步分数漂亮,全程却不合格。

镖头先训斥那几名车夫,说他们路口判断不够稳。车夫委屈地摊开路签:每个路口都照规矩走了,只是在第五段遇到塌桥,绕路后没有人检查后续选择;有一车货按十九个路口都走对,最后却停在隔壁镇仓门前。

于是镖局加了一场全程复盘。路口仍要看,但还要看车夫如何发现塌桥、如何改道、如何保住货物、是否及时告知收货人。甲师傅的牌子能发现小错,乙师傅的账本能看见整趟差事有没有成。只数每一步,会把漂亮的半途误认为成功。

镖头最后说,拆开看能找零件,合起来看才知道这辆车能不能跑完。评价一件连续工作,既要看每步,也要看整条路。

轨迹评估

以整条执行轨迹为单位评估 Agent 表现的方法,关注最终任务是否完成、路径是否合理、是否有无效循环。它衡量的是「全程走下来结果对不对」。

步骤成功率

以单步操作为单位统计正确率的评估方法,关注每一步操作是否按预期执行。它衡量的是「每一步单独看对不对」,不关注步骤之间的组合效应。

故事对应

  • 甲组逐段检查路口提醒:步骤成功率——单步独立评分。
  • 乙组跟车看是否到达目的地:轨迹评估——全局任务完成度。
  • 十九步正确一步错导致绕路:高步骤成功率掩盖了关键步骤的致命错误。
  • 单独走对的步骤连成之字形:组合型错误只有轨迹评估才能暴露。
  • 拆开定位、合起来判断:两种评估方法的互补关系。

落到项目里

Agent 评估至少同时看两层。步骤层:工具选择正确率、参数填充准确率、输出格式合规率,用于定位具体故障点。轨迹层:任务完成率、无效循环次数、到达目标所需步数,用于判断整体质量。两层数据交叉分析时注意一种危险信号:步骤准确率高但轨迹完成率低。这说明 Agent 在正确的路上走到了错误的方向——单步逻辑没问题,全局调度有缺陷。