← 概念解説に戻る

Concept Fable

ツール呼び出し遅延

先に結論:ツール呼び出し遅延とは、Agentが外部ツール、API、データベース、ブラウザ、サービスからの結果を待つ時間です。モデル自体が速くても、ツールの待ち時間がユーザー体験の主要なボトルネックになることがあります。

Tool Call Latency · Observability

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

探偵社は最も遅いのは推理ではなく、外出して証拠を取ることだと気づいた

駅伝の厨房はもともと熟練したやり方で回っていた。料理長は常用の調味料をコンロのそばに置き、いつものリズムで出せばめったに失敗しなかった。通りがかりの客も熱いスープが時間どおり出ることに慣れていた。

後に事態は大きくなった。宴席が急に増え、客は熱いスープが運ばれるのを待ち、催促の声が朝から夕方まで並んだ。新人はこれは数量の問題だと思い、人を増やし時計を増やせばよいと考えた。しかし老人は、多くの細部がすでに古いやり方で耐えられる境界を越えているのを見ていた。

掌事人は最初の方法を試した:足りない薬味が一つできるたびに人を外へやる。最初の数日は確かに改善が見え、行列は短くなり、外の人もこの技芸がようやく新しい場面に追いついたと思った。

しかし厄介ごとはすぐに姿を変えた。進度を急ぐために検査を省く者、不適切な仕事を無理に古いプロセスに押し込む者、最も熟練した者がかえって雑事に足を取られた。誤りは常に表に見えるとは限らず、納品後に初めて現れることが多い。 古い帳簿は来歴を説明できても、次にどう直すべきかは説明できない。

主事人はさらに規則を加え、各人にもっと署名し、もっと報告し、保護の層をもう一枚補うよう求めた。紙の上では周到に見えたが、現場はさらに遅くなった。職人たちは自分に非がないことを証明するのに忙しく、本当の亀裂は依然として元の場所で広がっていた。傍観者には結果が良くなったり悪くなったりするようにしか見えず、現場の者は速度、品質、責任のどれを先に救うべきかますます判断しにくくなった。 誰もが自分は少し多くやったと思っていたが、全体としての物事はそれによってより安定することはなかった。

寡黙な老職人はいくつかの失敗を机の上に並べた。彼は誰も責めず、皆に同じ細部を見せた。新しい制限は日常の練習にまったく入らず、納品直前に突然現れるだけだった。彼は数回の手戻りを発生順に並べ、そこで皆は、誤りがいつも同じ曲がり角で拡大されることに気づいた。

そこで工房は新しいルールに変えた。よく使う調味料は近くに置き、遠方の買い出しは早めに並び、急ぎの料理は最短ルートだけを通す。最初は誰も慣れず、手足を縛られたように感じた。しかし何度か繰り返すうちに、雑な近道はふさがれ、本当に確実な動きがゆっくりと残っていった。

同じプレッシャーに再び直面した時、納品は派手にはなりませんでしたが、明らかに信頼性が増しました。料理長はついに理解しました。助手がどんなに有能でも、往復の道のりは食卓全体を遅くするのです。最後になってから補修するのを待てば、代償はすでに前のあらゆる選択に埋め込まれていることが多い。この新しい道はコストを消し去ったのではなく、コストを早めに可視化し、まだ変更できるうちに対処できるようにしたのです。

明らかにする

この物語が語るのは:ツール呼び出しの遅延

ツール呼び出し遅延とは、Agentが外部ツール、API、データベース、ブラウザ、サービスからの結果を待つ時間です。モデル自体が速くても、ツールの待ち時間がユーザー体験の主要なボトルネックになることがあります。

良いシステムは各ツール呼び出しを個別に記録し、タイムアウト、リトライ、キャッシュ、並行、順序依存、フォールバック戦略を追跡する。そうでなければ、チームは問題がすべてモデルの速度にあると誤解しやすい。

メタファーのマッピング

  • 賢い顧問:agent or LLM planner
  • 外出して証拠を集める:tool call / external API request
  • 待ち行列、認可、再試行:network, auth, rate limit, and retry overhead
  • 各外出の記録:per-tool latency tracing
  • 並行して出発:依存関係が許す場合の parallel tool execution
  • キャッシュとフォールバック:latency mitigation strategies

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

latencytracingtimeout

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号