← 概念辨析に戻る

Concept Contrast Fable

ツール呼び出しの正確さと速さ

先に結論:ツール呼び出しの正確性は、エージェントが正しいツールを選び正しいパラメータを使ったかを測り、遅延は各呼び出しにかかる時間を測る。両者はしばしば矛盾する。より多くの時間を推論に費やすツール選択は往々にしてより正確だが、応答遅延を増やす。

ツール呼び出しの正確性は、エージェントが正しいツールを選び正しいパラメータを使ったかを測り、遅延は各呼び出しにかかる時間を測る。両者はしばしば矛盾する。より多くの時間を推論に費やすツール選択は往々にしてより正確だが、応答遅延を増やす。

寓話

二人の給仕、一人は速く正しく、一人は速く間違える

県城南街に一軒の料理屋があり、前後の客席は中庭で隔てられていた。主人は給仕を二人つけた。老趙は注文を受けるたび、まず中庭で立ち止まり、メニューを心の中で唱え、それから主人に今日の仕込みを尋ね、ようやく厨房へ料理を取りに行く。老銭は違う。注文を受けると厨房へ突進し、歩きながら考え、メニューを唱え終わらないうちに、もう盆を手に戻ってくる。

最初の一か月、老趙の料理は一度も配膳を間違えず、客は名指しで褒めた。老銭の注文は時折取り違えた——ある時は隣の卓の酔っ払いエビを、忌避のある老人の卓に届け、危うく大事になるところだった。だが老趙の料理は出るのが遅く、ピーク時には客は小半時も待たされた。

店主はデータを研究し始めた。老趙は平均で一単あたり三杯の茶の時間がかかり、老銭は平均一杯だとわかった。老銭は一日に三割多く配達できるが、誤配の割合で作り直しを差し引くと、それらの単の時間コストに再調理の時間を加えても、実際にはあまり節約になっていなかった。

ある日の午後、店主は老銭に冷菜を、老趙に温菜を専門に担当させた。冷菜は品数が少なく見分けやすいので、老銭の速さが際立った。温菜は火加減が重要で仕込みも複雑なので、老趙の慎重さがより価値を持った。その日の回転率は先月で最高、客の苦情は最も少なかった。

だが主人はすぐに新たな問題に気づいた。店がデリバリー注文を引き受けると、配達員が外で待ち、老趙の三杯の茶の時間が配達員の悪夢になった——システムの提供時間で客に伝えたところ、客は五分で来ると思っていたのに十五分待たされた。配達員の評価は低評価で引きずられ、この店の注文を拒否し始めた。

店主は老趙を脇に呼び、もっと速くできないかと尋ねた。老趙は、料理を間違えることはないが、速さは保証できないと言った。店主はまた老銭に、もっと遅くできないかと尋ねた。老銭は、遅くしたら自分はもうあの老銭ではなくなる、走ってこそ調子がよく、遅いとかえって気が散って間違えやすいと言った。

後に店は呼び出しシステムを導入し、客は注文時に自分の料理がどれだけ待つか分かるようになった。主人は老趙を遅い注文専用の経路に、老銭を速い注文の経路に割り当て、システムのレベルで振り分けた。二人の給仕を同じ道で競わせるのではなく。正確さと速さは一人の給仕が同時に解決できることではなく、システムが入口で分ける必要がある。

後に店主はこの分岐表を配膳口に貼り、新しい走り使いはまず料理のリスクを見てから歩く速さを決めるようにした。

ツール呼び出しの正確性

エージェントが正しいツールを選択し、正しいパラメータを渡したかを測定する。精度が高いことはツール使用が期待通りであることを意味するが、通常はより多くの推論時間を要する。

ツール呼び出し遅延

エージェントが一度のツール呼び出しを実行するのに必要な平均時間を測定します。遅延が低いことは応答が速いことを意味しますが、推論の深さが低すぎるとツール選択の誤りにつながる可能性があります。

物語の対応

  • 老趙はまず心の中で唱えてから料理を取る:ツール呼び出し前に十分に推論し、精度を高めるが遅延を増やす
  • 老銭は注文を受けると突っ走る:推論ステップを減らして遅延を下げるが、ツール選択の誤り率が上がる
  • 冷菜は老銭、熱菜は老趙:タスクの複雑さで振り分け、単純なものは低遅延、複雑なものは高精度
  • 出前配達員が老趙を待つ:低遅延シナリオでは、高い正確性がかえって体験のボトルネックになる
  • 老銭は遅くなるとかえって誤る:一部のタスク類型では、迅速な実行と正確な実行の間に内在的な矛盾がある
  • 呼び出しシステムで入口を分流:システムレベルで異なる最適化目標を分離し、単一のエージェントに同時に両立させない

Agent 性能最適化に落とし込む

ツール呼び出しを最適化するときは、自分の場面が誤りを恐れるのか遅さを恐れるのかを先に明確にせよ。カスタマーサポート対話や文書生成のように誤りを許容し下流で訂正できる場面では、遅延を下げ一定の誤り率を受け入れられる。金融取引や医療分析のように誤りの代価が高い場面では、応答が遅くなっても正確性を優先しなければならない。最も効果的な方法は入口で分流することだ。簡単で反復性の高い呼び出しは速い通路へ、複雑で初めて遭遇する場面は正確な通路へ。同じ Agent を同時に二つの道で走らせてはならない。

京ICP备2026014272号