← 概念解説に戻る

Concept Fable

ツール呼び出し精度

先に結論:ツール呼び出し精度は、Agent が正しいツールを選び、正しく完全で準拠した引数を渡し、ツールが返す結果を適切に使えるかを測る。これは tool selection、function schema adherence、argument correctness、result handling、エラー回復をカバーする。企業 Agent でツール呼び出しが不正確だと、システムの誤検索、フィールドの誤書き込み、権限外操作、重複送信、外部アクションの誤発火が起きるため、評価プラットフォームと本番 trace で個別に測定する必要がある。

Tool Call Accuracy · Evaluation

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

店員を呼べるだけでなく、正しい伝票を渡せなければならない

南街の大きな店には多くの使用人がいた。秤を量る者、帳簿を調べる者、錠を開ける者、荷を届ける者、契約を書く者。早年の主人は自ら指示し、間違いは少なかった。

商売が大きくなると、店主は一人の総管を雇った。総管は直接働かず、誰を呼ぶべきかを判断し、任務票を渡すだけだった。最初の数日は声も大きく反応も速く、店主は満足していた。

すぐに問題が起きた。帳簿を呼ぶべきところで計量を呼び、城東へ送るべきところを城西と書き、三号倉を開けるべきところで鍵の番号を漏らした。使用人は勤勉だったが、任務を取り違えた。

店主はまず总管にもう少し説明するよう求めた。説明は長くなったが、誤りは減らなかった。店の欠陥は話術になく、人を間違えて呼び、項目を記入し忘れ、客の雑談を重要な欄に詰め込むことにあった。

老会計係は作業指示書を作り直した。各票にはまずどの使用人を呼ぶべきか、どの欄が必須か、どの欄は推測してはならないか、完了後に何で検収するかを明記する。曖昧な要求はまず窓口に差し戻して確認する。

しばらくして、店は総管が最もよく間違えるのは似たような用事の間であること、数字の単位をよく見落とすことに気づいた。説明と検収を直してから、自動処理は本当に安定した。人を呼ぶだけでは足りない。正しい人を呼び、正しい伝票を渡し、結果を照合してこそ成し遂げたと言える。

後に店に新しい仕事が来て、帳簿の検査にも契約書の作成にも似ていた。総管が名前だけで判断すれば、やはり人を間違える。老会計係は、まず目標、材料、検収方式を見てから、誰に渡すかを決めるよう求めた。

誤りが起きるたびに、店は番頭だけを責めるのではなく、タスク票のどこが誤解を誘発したかを見た。似た職人は職責を区別し、必要な欄は必須にし、曖昧な依頼は差し戻す。店はこうした小さな修補によって、自動フローを忙しい日にも耐えうるものにした。 後に新人が入門する時、老師匠はもはや抽象的な名称を先に語らず、あの失敗を振り返らせた:もともとどこが直感に頼っていたか、最初の修補がなぜ不十分だったか、新しい取り決めがどうリスクを検査可能な位置に留めるか。彼らがこれらの細部を説明でき、いつ沿用し、いつ昇格すべきかを指摘できるようになって、初めてこの方法を本当に理解したと言える。 後に彼らはこの方法を新人の演習にも引き渡した:まず新人に旧方法で一度やらせ、誤りがどう現れるかを見る。次に新規則でやり直し、どのステップが前もって止められ、どのステップが証拠を残したかを見る。新人が名前を暗記するだけでは、似た場面で依然として乱用する。適用境界、代償、失敗後の補救を語れる者だけが、独立して仕事を引き受けることを許された。

明らかにする

この物語が語るのは:ツール呼び出しの正確率

ツール呼び出し精度は、Agent が正しいツールを選び、正しく完全で準拠した引数を渡し、ツールが返す結果を適切に使えるかを測る。これは tool selection、function schema adherence、argument correctness、result handling、エラー回復をカバーする。企業 Agent でツール呼び出しが不正確だと、システムの誤検索、フィールドの誤書き込み、権限外操作、重複送信、外部アクションの誤発火が起きるため、評価プラットフォームと本番 trace で個別に測定する必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 大きな店の店員:Agent が呼び出せるツール、API、データベース、外部システム
  • 総管:計画とツール呼び出しを担う Agent
  • 助手の呼び間違い:tool selection エラー
  • 住所、倉庫番号、鍵番号:ツール呼び出しのパラメータとスキーマフィールド
  • もう少し説明すると:自然言語の回答だけを最適化し、呼び出しの正確性は解決していない
  • 各呼び出しの記録:tool call trace と評価サンプル
  • ツール説明とパラメータ schema の改訂:ツール設計を通じて呼び出しの信頼性を高める
  • 最終洞察:Tool Call Accuracy は、Agent が言語意図を正しい動作に変換できるかを決める

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

ファンクションコーリングスキーマ

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号