← 概念辨析に戻る

Concept Contrast Fable

ツールを正しく選ぶこととタスクを成し遂げることは、二つの異なる指標

先に結論:ツール呼び出し精度は、モデルがツールを呼び出す際に正しい関数を選び、正しいパラメータを埋めたかを測る。タスク成功率は、ユーザーの要求が最終的に正しく完了されたかを測る。ツールを正しく選んだからといってタスクが成し遂げられたわけではない——ツール呼び出しはタスクチェーンの一節にすぎず、呼び出しの後にはパラメータ値が正しいか、呼び出し順序が合理的か、呼び出し結果が正しく使われているかがある。

ツール呼び出し精度は、モデルがツールを呼び出す際に正しい関数を選び、正しいパラメータを埋めたかを測る。タスク成功率は、ユーザーの要求が最終的に正しく完了されたかを測る。ツールを正しく選んだからといってタスクが成し遂げられたわけではない——ツール呼び出しはタスクチェーンの一節にすぎず、呼び出しの後にはパラメータ値が正しいか、呼び出し順序が合理的か、呼び出し結果が正しく使われているかがある。

寓話

ある使い走りの店員が、メニュー番号は合っていたのに、違う料理を運んだ

城東の大酒楼は大広間と後厨の間に配膳窓を一つ加え、走り使いの店員が窓のそばに立ってメニューを待つ。彼の仕事は、客が注文し、彼がメニュー番号を見て、窓から後厨へ渡し、出てきた料理を対応する卓へ運ぶことである。店主は店員を評価するため、窓に記録板を取り付け、そこにはただ一事だけを記した——メニュー番号が後厨へ正しく渡されたかどうか。

最初の一か月、記録牌は正しい伝票率九十七パーセントを示した。店主は例会で店員を褒めた。しかし客の苦情は倍になった。苦情は配膳の段階に集中し、伝票の段階にはそれほど問題がなかった。店員は糖醋魚を清蒸魚を注文した客の机に運び、三号卓の汁を八号卓に運び、あるときは皿さえ安定して持てず、半皿の料理を床にこぼした。

店主は記録板のデータと苦情リストを机の上に並べ、午後ずっと見ていた。記録板には正しい受け渡し率が九十パーセントから九十七パーセントに上がったとあり、店員のメニュー番号の選択は確かに正確になっていた。苦情リストには、テーブルを間違えた、皿を引っ掛けた、スープをこぼしたとあり、メニュー番号とは関係なかった。店主は一つのことを悟った。正しいメニューを渡すのは第一歩であり、正しく渡すことは正しく運ぶことの保証ではない。

酒楼は二つのやり方を変えた。第一に、メニュー番号の正確率を評価表に残したが、中間指標としてのみ扱った。第二に、客満足度の追跡を加えた——各テーブルが食べ終わった後、客に満足か不満かをチェックしてもらい、メニュー番号と比較して、メニューが正しく渡された後に客が最終的に満足した割合を算出する。これこそが真の指標だ。

走り使いの若者はある規則性に気づき始めた。メニューの番号が複雑なほど、照合に時間をかけねばならず、かえって配達の正解率が高い。数秒多く見るからだ。しかし最も間違えるのはむしろ慣れた古いメニューだった。一瞥して渡し、番号は合っているが、古いメニューが先週作り方を変えたことに気づかず、酢豚の付け合わせが変わり、出した料理を客が認めなかった。ツールの選択は正しく、パラメータ値が間違っていた。

後厨は後に指標を三つの関門に分けた。第一関門はメニュー番号の伝達正確率、第二関門は番号が正しい場合に料理と客が対応しているか、第三関門は客満足率を見る。三つの関門にはそれぞれ対応する改善策がある——第一関門はメニュー研修、第二関門は配膳時の照合フロー、第三関門は客からの直接フィードバックだ。

看板には後に小さな文字が一行加えられた。料理が正確かどうかは、注文を渡す小さな窓口だけではわからない。客のテーブルの空の皿こそが勘定書だ。

ツール呼び出し精度

ツールを呼び出す必要があるときに、モデルが正しい関数名を選び、正しい引数形式を埋める割合を測定する。ツール選択の正確性のみを評価し、タスク全体の完了品質は評価しない。タスクチェーンの中間ノード指標である。

タスク成功率

ユーザーのリクエストが最終的に正しく完了された割合を測る。リクエストの理解、ツールの選択、ツールの呼び出し、ツール結果の利用から最終回答の生成までの完全な経路をカバーする。エンドツーエンドのユーザー体験指標である。

物語の対応

  • 記録牌上の委譲成功率:ツール呼び出しの正確率。ツール選択とパラメータ形式のみを測定
  • 顧客満足度の追跡:タスク成功率、リクエストから結果までのエンドツーエンドの経路をカバーする
  • 正しく渡しても正しく実行とは限らない:ツールは正しくてもパラメータ値や呼び出し順が誤るとタスクは失敗する
  • 九十七の正解率と倍増した苦情:ツール呼び出しの精度は高いがタスク成功率が低い典型例
  • 三道の関門:完全な評価体系には中間指標とエンドツーエンド指標の併存が必要
  • メニューに慣れていても誤る:ツールは正しく選んだがコンテキストの変化に気づかず、パラメータ値の誤りで失敗する

Agent 品質評価に落とし込む

Agent 評価体系を構築するとき、ツール呼び出しの正確率はデバッグ指標として残す——ツール選択に問題があるのか、後続ステップに問題があるのかを特定するのに役立つ。しかしツール呼び出しの正確率をタスク成功率の代わりに顧客や事業側へ報告してはいけない。両者の間によくある断層には、パラメータ値の記入ミス、呼び出し順序の誤り、ツールの返り値をモデルが誤解釈することが含まれる。タスク成功率が下がったときはツール呼び出しの正確率にさかのぼって原因分析することを勧めるが、前者だけで後者を代替してリリース判断をしてはならない。

京ICP备2026014272号