SH

Soloharness

概念 · 辨析 · Agent

← 返回概念辨析

Concept Contrast Fable

工具调用准不准和工具调用快不快

工具调用准确性衡量智能体是否选对了工具并用对了参数,延迟衡量每次调用花费的时间。两者经常互相矛盾:花更多时间推理的工具选择往往更准确,但增加了响应延迟。

寓言

两个跑堂,一个对得快,一个错得快

县城南街有家馆子,前后厅隔了一道院。掌柜配了两个跑堂。老赵每次接单,先在院里站定,把菜单默念一遍,再问掌柜今日备料,然后才去后厨取菜。老钱不一样,接单就往后厨冲,边走边想,菜单还没默完,已经端着盘子出来了。

头一个月,老赵的菜从来没送错过,客人点名表扬。老钱的单子偶尔端错——有一次把隔壁桌的醉虾送到了忌口老人的桌上,差点出事。但老赵的菜上得慢,高峰时客人要等上小半个时辰。

掌柜开始研究数据。他发现老赵平均每单花三盏茶时间,老钱平均一盏茶。老钱一天能多跑三成单,但如果按送错的比例扣掉重新做的,那些单的时间成本加上重新出餐的时间,其实没省多少。

有一天下午,掌柜让老钱专门负责凉菜、老赵负责热菜。凉菜品种少、容易认,老钱速度优势明显;热菜火候重要、备料复杂,老赵的谨慎更有价值。那天的翻台率是上个月最高,客人投诉最少。

但掌柜很快发现了新问题。馆子接了外卖单,骑手等在外面,老赵的三盏茶变成了骑手的噩梦——人家按系统里的出餐时间报给客人,客人以为五分钟就好,结果等了十五分钟。骑手的绩效被差评拖累,开始拒接这家的单。

掌柜把老赵叫到一边,问他能不能快一点。老赵说菜不会送错,但不能保证快。掌柜又问老钱能不能慢一点,老钱说慢了他就不是那个老钱了,跑起来才顺手,慢了反而容易走神出错。

后来馆子上了叫号系统,客人点单时就知道自己的菜需要等多久。掌柜把老赵设为慢单专用通道,把老钱设为快单通道,在系统层面做分流,而不是让两个跑堂在同一条路上互相比拼。准确和快速不是同一个跑堂能同时解决的事,需要系统在入口就把它们分开。

后来掌柜把这张分路表贴在传菜口,新跑堂先看菜的风险,再决定脚步快慢。

工具调用准确性

衡量智能体是否选择了正确的工具,并传入了正确的参数。准确性高意味着工具使用符合预期,但通常需要更多的推理时间。

工具调用延迟

衡量智能体执行一次工具调用所需的平均时间。延迟低意味着响应快,但过低的推理深度可能导致工具选择错误。

故事对应

  • 老赵先默念再取菜:工具调用前充分推理,提高准确性但增加延迟
  • 老钱接单就冲:减少推理步骤降低延迟,但工具选择错误率上升
  • 凉菜归老钱、热菜归老赵:按任务复杂度分流,简单的用低延迟,复杂的用高准确性
  • 外卖骑手等老赵:低延迟场景中,高准确性反而成为体验瓶颈
  • 老钱慢下来反而出错:部分任务类型中,快速执行和准确执行存在内在矛盾
  • 叫号系统做入口分流:系统层面分离不同优化目标,而不是让单个智能体同时兼顾

落到 Agent 性能优化

优化工具调用时,先明确你的场景更怕错还是更怕慢。客服对话、文档生成这类容忍错误下游能纠正的场景,可以压低延迟接受一定错误率;金融交易、医疗诊断这类错误代价高的场景,必须优先保障准确性,哪怕响应更慢。最有效的做法是在入口做分流:简单的、重复性高的调用走快通道,复杂的、首次遇到的场景走准确通道。不要让同一个 Agent 同时在两条路上跑。