SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

评整条任务路径和评每一轮回答

多步任务里,只看每一轮的礼貌和准确度,会漏掉整条路有没有走到、有没有绕远、有没有丢件。轨迹评估回答任务是否交付,逐轮评估回答每次对话是否得体。

寓言

两个考官

商号招了一批跑腿人,负责把货单、合同和样品送到各城。掌柜请了两位考官来评定跑腿人好坏。第一位坐在柜台后面,让跑腿人每经过一站汇报一次。他只评价每次汇报是否清晰、礼貌、用了正确的称呼。汇报漂亮的得高分,答得磕巴的得低分。

第二位考官不坐在柜台,而是跟着跑腿人走完整条路。他不看汇报是否漂亮,只看出发时有没有带齐货单、中途有没有抄近路翻山、送到时有没有缺件、客户有没有签收。整条路走完才打分。

第一批评定结果出来,两位考官给的分数完全对不上。汇报漂亮的第一名,路上丢了两件货、绕了三个弯、送到时比约定晚了半天。汇报磕巴的一名跑腿人,货单齐全、路线最短、客户当场签收。

掌柜把两套评定并排看,发现各有用处。柜台考官能看出跑腿人会不会与人沟通、会不会在遇到意外时解释清楚;跟路考官能看出任务有没有真正完成、中间有没有隐藏的风险动作。

商号后来用两套分一起看人。跑腿人路上摔了货但汇报得清楚,跟路考官会扣路径分,柜台考官会给沟通分。两种信号并行,掌柜不再被漂亮的汇报迷住,也不会因为一次笨嘴而否定一个能送货的人。

新来的自动跑腿车让考核更复杂。车从不汇报,但每趟都能自动记录完整路径。有人提议只用路径评分,可有一次车在客户门口等了半小时没说一句话,客户以为没人来就走了。掌柜意识到,只评路径会漏掉所有需要沟通的环节。

最后掌柜在每张评估单上画了两栏:这一趟送到了吗,每一段处理得怎么样。送到但中间出了问题的,查中间步骤;中间漂亮但没送到的,查路径终点。两栏都填完,才知道跑腿人值不值得继续用。

后来考官把两张卷子钉在一起:单步答得好只能得小分,整趟差事走完、交接无误、没有绕错路,才算真正通过。

轨迹评估

对 agent 完成任务的全过程进行评价,关注路径是否正确、步骤是否必要、中间是否有错误或冗余,最终是否达成目标。

逐轮评估

对 agent 在每次交互中的单轮响应质量进行评价,关注回答是否准确、相关、安全、符合语气和格式要求。

故事对应

  • 柜台考官:逐轮评估,只看每次交互的沟通质量
  • 跟路考官:轨迹评估,关注任务全路径和最终结果
  • 汇报漂亮但丢件:单轮表现好但任务未完成
  • 汇报磕巴但送达:单轮表现差但任务成功交付
  • 自动跑腿车:纯轨迹评分会漏掉需要交互判断的环节

落到 Agent 评测体系

客服、工单处理、数据查询等多步任务,评测体系要同时纳入轨迹评估和逐轮评估。轨迹看任务是否闭环、步骤是否合理、是否有越权或重复调用;逐轮看每次回答是否安全、准确、得体。只评单轮会让能聊天但不会办事的 agent 拿高分。