← 概念解説に戻る

Concept Fable

レイテンシ

先に結論:レイテンシとは、モデルまたは Agent システムがリクエストを受け取ってから応答を返すまで、またはトークンを生成するまでにかかる時間である。キューイング、ルーティング、検索、ツール呼び出し、プリフィル、初回トークン、デコード、後処理を含む場合がある。

Latency · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

救急の入口で測るのは医師の賢さではなく、患者がどれだけ待ったか

山城の医館には名医が何人かおり、分析は非常に正確だった。店主はよく外に向かって医館の腕の高さを語っていたが、救急の入口に長い行列ができるようになって、病人才は本当の不満を口にした。

彼らは処方箋が最終的にどれほど美しいかは気にしない。少なくとも痛みが最も切迫しているときは気にしない。彼らはまず、最初の言葉にいつ誰かが応答するのか、いつ薬を受け取れるのか、いつ家に帰れるのかを尋ねる。

店主はまず壁に名医の経歴を貼り出し、さらに問診票を増やした。医館はより専門的に見えたが、患者の待ち時間は長くなり、いらだちも目立った。途中まで待った人が、向きを変えて隣の小店へ行く者もいた。

ある者は一日に何人の患者を見たかだけを数え、効率が高いと主張した。しかし、そのうち何人かは医師に会うまでに二時辰も待ち、別の者は一盞茶しか待たなかった。平均値は本当の苦痛を覆い隠していた。

ある管理人がプロセスを分解しました。入場から応答、応答から分析、分析から薬の受け取り、薬の受け取りから再診まで。各区間でよくある待ち時間、遅い尾部の待ち時間、最悪のケースを記録しました。

彼らは、遅さは医師の問診だけにあるのではないと気づいた。受付、カルテ探し、薬炉待ち、禁忌の再確認、どのステップも全体の体験を悪化させうる。医術がどれほど正確でも、最初の応答が遅すぎれば、信頼はすでに半分漏れている。

医館は場面ごとに目標を設定し始めた。急症はまず応答し、慢性病は完全な検査を待ってよい。簡単な処方は速く、複雑な会診は待ち時間を説明する。異なる患者はもう同じ列に押し込まれない。

後に医館が新プロセスを評価するとき、分析が正確かどうかだけでなく、患者が扉を叩いてから最初の応答まで、完全な結果まで、それぞれどれだけかかったかも尋ねた。速度の構造は、サービス品質の一部である。管事は遅い尾部の患者を別に取り出して見た。少数の者が特に長く待つのは、しばしば最も危険または最も急を要する患者である。平均だけを見れば、医館はそうした人々を美しい数字の中に隠してしまう。評判に実際に影響するのは、しばしば最悪の待ち時間の部分である。医館は後に最初の応答を一味の薬とした。それは病を治せないが、患者は自分がすでにケアの中に入ったと知ることができる。この段階が遅れれば、後がどれほど正確でも挽回しにくい。後に振り返る際、皆はこの経験を日常の規則に書き入れた:まず現場のどこが実際に結果を変えたかを見て、それから何を残し、何を修繕し、何を制限すべきかを決める。患者の感覚が最も明確である。

明らかにする

この物語が語っているのは:遅延

レイテンシとは、モデルまたは Agent システムがリクエストを受け取ってから応答を返すまで、またはトークンを生成するまでにかかる時間である。キューイング、ルーティング、検索、ツール呼び出し、プリフィル、初回トークン、デコード、後処理を含む場合がある。

企業システムは平均レイテンシだけでなく、p95、p99 といった分位点も見るべきだ。少数の非常に遅いリクエストこそが、ユーザー体験と SLA 違反の真の問題であることが多いからだ。

メタファーのマッピング

  • 医館:LLM / Agent service
  • 患者の待ち時間:end-to-end request latency
  • 最初の文の応答:TTFT or first meaningful response
  • 受付、カルテ、薬炉:queueing, retrieval, tool calls, prefill, decode
  • 平均は苦痛を覆い隠す:mean latency hides p95/p99 tail latency
  • 急性疾患と慢性疾患:異なる workflow の latency SLO
  • 最後の洞察:Latency はユーザーがどれだけ待つかを測るもので、モデル単体ではなく経路と分位数で管理しなければならない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

throughput最初のトークンまでの時間tokens per secondserving

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号