← 返回概念解读

Concept Fable精修版

工具调用准确率

Tool Call Accuracy · Evaluation

先读故事。这里不急着给定义,先让问题自己长出来。

寓言故事

会喊伙计还要会递对单子

南街大铺子有许多伙计:称重的、查账的、开锁的、送货的、写契约的。早年掌柜亲自吩咐,少有差错。

生意变大后,掌柜请了一位总管。总管不直接干活,只判断该叫谁,并把任务单递过去。头几天他声音洪亮,反应很快,掌柜很满意。

很快问题来了。该叫查账的,他叫了称重的;该送城东,他写成城西;该开三号仓,他漏了钥匙编号。伙计勤快,却拿错了任务。

掌柜先让总管多解释几句。解释更长,错误却没有少。铺子的毛病不在口才,而在叫错人、漏填项、把客人闲话塞进关键栏。

老账房重做任务单。每张单先标明应叫哪个伙计,必须带哪些栏目,哪些栏目不能猜,办完后凭什么验收。模糊要求先退回柜台问清。

一段时间后,铺子发现总管最常错在相似差事之间,也常漏掉数字单位。改完说明和验收后,自动办事才真的稳起来。会喊人不够,喊对人、递对单、核对结果才算做成。

后来铺子来了新差事,既像查账,又像写契约。总管若只凭名字判断,仍会叫错人。老账房便要求他先看目标、材料和验收方式,再决定递给谁。

每次办错,铺子不只责怪总管,而是看任务单哪里诱发误解。相似伙计要分清职责,必要栏目要变成必填,含糊请求要退回。铺子靠这些小修补,才让自动流转经得起忙日。 后来新手入门时,老师傅不再先讲抽象名目,而是让他们复盘那次失误:原先哪里靠直觉,第一次修补为什么不够,新的安排怎样把风险留在能检查的位置。等他们能说清这些细节,还能指出什么时候该沿用、什么时候该升级,才算真正懂了这套办法。 后来他们还把这套办法交给新人演练:先让新人按旧办法做一遍,看错误怎样出现;再按新规矩重做,看哪一步被提前拦住,哪一步留下了证据。新人若只会背名字,仍会在相似场景里乱用;只有能说出适用边界、代价和失败后的补救,才被允许独立接活。

揭示

这个故事讲的是:工具调用准确率

工具调用准确率衡量 Agent 是否选择了正确工具,并传入正确、完整、合规的参数,同时合理使用工具返回结果。它覆盖 tool selection、function schema adherence、argument correctness、result handling 和错误恢复。企业 Agent 如果工具调用不准,会出现查错系统、写错字段、越权操作、重复提交或误触发外部动作,因此必须在评测平台和生产 trace 中单独度量。

它重要的地方在于:它不只是一个术语,而是在真实 AI / Agent 系统里会反复出现的结构性问题。理解它,才能判断什么时候该加模型,什么时候该改流程,什么时候该补治理。

隐喻映射

  • 大铺子的伙计:Agent 可调用的工具、API、数据库和外部系统
  • 总管:负责规划和调用工具的 Agent
  • 叫错伙计:tool selection 错误
  • 地址、仓号、钥匙编号:工具调用参数和 schema 字段
  • 多解释几句:只优化自然语言回答,没解决调用准确性
  • 每次呼叫记录:tool call trace 和评测样例
  • 改工具说明和参数 schema:通过工具设计提升调用可靠性
  • 最后洞察:Tool Call Accuracy 决定 Agent 是否能把语言意图变成正确动作

Soloharness 判断

这个概念的实战价值,是帮你把“看起来聪明的 AI 功能”拆成可交付、可验收、可治理的工作单元。

function callingschema

相关辨析

这个概念容易和相邻概念混用,建议继续看对比页。