← 返回概念解读

Concept Fable精修版

轨迹评估

Trajectory Evaluation · Evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

看见脚印才知道猎人为何空手而归

猎人进山追鹿,黄昏空手回来。村长只看结果,判他失败。猎人低头不语,旁人也以为他整天偷懒。

老猎师没有急着下结论,带人去看山路。雪地上有脚印、折断的枝条、临时绕开的溪水,还有一处停留很久的痕迹。

第一次查看,只看最后一段脚印。那段确实通向空谷,好像猎人走错了路。可再往前看,大家发现主路被落石封住,他绕路是唯一选择。

村长又说,既然绕路合理,为什么仍没猎到鹿。老猎师继续沿迹查看,发现猎人在山腰追到新蹄印后,误把羊蹄当鹿蹄,随后半日都朝错方向走。

若只看最终有没有猎物,这两种情况都叫失败:一段是正确应对,一段是关键误判。惩罚或奖励若只盯终点,学不到该改哪里。

村里后来评猎,不只看带回什么,还看途中观察、选择、绕行、等待和纠错。脚印能说明判断如何形成,也能暴露哪一步把后面带偏。

猎人仍要对结果负责,但结果不再是唯一证据。要评价一次复杂行动,必须看它经过的路径:哪些决策合理,哪些偏差可修,哪里只是运气。

后来村里的训练也变了。老猎师会挑出某一步让年轻人重走:若当时发现溪水上涨,还有哪条路;若看见这枚蹄印,怎样确认不是羊。评价路径不是替失败开脱,而是把结果拆回可学习的选择。 村长后来承认,单看鹿肉最省事,却最容易误教。好运能掩盖坏判断,坏天气也能遮住好选择。把脚印看清,才能知道该表扬谨慎、纠正误判,还是承认只是运气差。 后来年轻猎人也不怕展示脚印,因为脚印能让训练落到具体一步。 这句话后来被写进新人的手册里,提醒大家先看现场代价,再谈省力。 也正因为这层提醒,后来再遇到相似难题时,众人不会急着套旧办法。 他们学会先问哪一步承担风险,再决定该放手、该收紧,还是该重排流程。 这份经验看似朴素,却让后来的选择少了许多含糊和侥幸。

揭示

这个故事讲的是:轨迹评估

轨迹评估是对 Agent 执行过程中的计划、推理步骤、工具调用、观察结果、重试、异常处理和最终输出进行整体评价。它适合多步骤任务,因为最终答案可能掩盖过程中的越权、侥幸、错误工具调用或不可复现路径。企业质量闭环应把 trajectory 与 trace 结合,按步骤、风险和结果打分,区分正确失败、危险成功和真正可靠的成功。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 猎人的完整行程:Agent trajectory
  • 篮子里的猎物:最终输出或任务结果
  • 禁林和剪断绳标:越权、违规或危险中间动作
  • 脚印图和绳结标记:trace、span、tool call logs 和观察记录
  • 幼兽前停止追捕:正确拒绝或安全中止
  • 危险捷径带回猎物:结果成功但过程不可接受
  • 修正读风向和工具选择:基于轨迹定位可训练环节
  • 最后洞察:Trajectory Evaluation 评价的是 Agent 如何抵达结果

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

traceevalagent path

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。