← 概念辨析に戻る

Concept Contrast Fable

レイテンシとスループット

先に結論:一方は「単件の仕事にどれだけ時間がかかるか」を問い、もう一方は「一時間に何件の仕事ができるか」を問う。レイテンシ最適化をスループット最適化と同一視すると、金を払ったのにユーザーをより長く待たせることになりかねない。

一方は「単件の仕事にどれだけ時間がかかるか」を問い、もう一方は「一時間に何件の仕事ができるか」を問う。レイテンシ最適化をスループット最適化と同一視すると、金を払ったのにユーザーをより長く待たせることになりかねない。

寓話

クイックキッチンと流しの宴席

老馬のレストランには二つの厨房がある。左は「快速厨房」で、一皿だけ作る。客が注文すると、料理人は鍋を起こし、炒め、盛り付け、提供する。注文から配膳まで最速三分。右は「流水席」で、一卓分を一度に作り、八品を同時に出す。しかし待たねばならない。下ごしらえ、切り分け、盛り付け、火加減の統括で、最初の一皿が出るまで少なくとも二十分かかる。

レストランは開業当初、料理を素早く出す厨房を売りにしていた。客は注文から三分で食べられ、評判が良く、席の回転率も高かった。その後、企業向けの食事を何件か受注し、一度に数十食を出す必要が生じると、その厨房では対応しきれなくなった。一食当たりは三分で済んでも、コンロが一つしかないため、後の注文は順番待ちになる。四十食目を出すころには、一時間以上待たせていた。

老馬はそこでビュッフェ式厨房を拡張した。八つのコンロが同時に稼働し、一度に十数人前を出す。会社の団体食の問題は解決したが、新たな問題が生じた。散客の注文もビュッフェ式厨房に導かれたのだ。客が卵チャーハンを注文し、二十五分待ってもまだ出てこない。ウェイターが厨房に急かしに行くと、料理人は大鍋料理を炒めている最中で、単品はこの鍋が終わってからでないと割り込めないと言った。

老馬は座って振り返る。快厨の一人前の時間は三分——これは低遅延だが、単位時間に出せる数は少ない——これは低スループット。流水席の最初の一皿の提供時間は二十分——高遅延だが、一時間に百皿以上出せる——高スループット。二つの厨房にはそれぞれ長所がある。問題は、散客の卵チャーハンを流水席の行列に送り込んだことにある。

老馬はレジシステムで分流を行った。散客の注文は自動的に快速厨房のキューへ入り、団体食や一括注文は流水席のキューへ入る。二つの厨房はそれぞれ独立し、混用されなくなった。散客は引き続き三分で食事にありつけ、団体食の客も時間どおりに一卓分の料理を受け取れた。

後に同業者が老馬に尋ねた。君は流水席のスループットが大きいと言ったのに、なぜ単品のほうが遅いのか?老馬は言った。スループットが大きいのはバッチ起動によるものだ。単品がバッチ経路を通れば、起動コストが利点を食いつぶす。スポーツカーにレンガを満載させれば、トラクターより速くはない。

老馬は厨房の壁に一つの規則を貼った。速度を見るなら、快速厨房に聞け。総量を見るなら、流水席に聞け。流水席の数字で一皿の待ち時間を説明するな。

新しく来た料理見習いは初出勤の日、老馬にまず二面の壁の前に連れて行かれた。左の壁には快速厨房の規則が貼ってある。一人前三分、竈は空けて待たない。右の壁には流水席の規則が貼ってある。一鍋で十数人前、統括は竈を譲らない。老馬は言った。正しい厨房を選ぶことは、黙々と炒めることより重要だ、と。

遅延(Latency)

単一のリクエストが送信されてから完全な応答を受け取るまでに経過する時間。単一操作の速度指標であり、ユーザーの待ち体験に直接影響する。単位は通常ミリ秒または秒。

スループット (Throughput)

システムが単位時間あたりに処理できるリクエストの総数。全体の生産能力を示す指標であり、システムの並行処理能力を反映する。単位は通常、毎秒リクエスト数または毎分トークン数である。

物語の対応

  • 快速厨房は三分で提供:低遅延で、単回操作の速度が速い。
  • 流し席は一時間に百人前:高スループット、単位時間あたりの総産出が大きい。
  • 単品の卵チャーハンが宴会料理の行列に並んだ:高スループットアーキテクチャで低遅延要件を処理すると、起動時のバッチオーバーヘッドが速度優位を食いつぶす。
  • 二つの厨房がそれぞれ列を作る:遅延最適化とスループット最適化は通常異なるアーキテクチャ戦略を必要とし、混用できない。
  • スポーツカーでレンガを運ぶよりトラクター:各アーキテクチャには適した場面があり、高スループットは低遅延を意味しない。

プロジェクトに落とし込む

AIモデルサービスにレイテンシとスループットの観測パネルをそれぞれ設け、一つの指標に混ぜないこと。インタラクティブなシナリオ(チャット、コード補完)ではP50とP95レイテンシを監視し、ミリ秒単位の変動がユーザー知覚に直接影響する。バッチシナリオ(文書処理、データアノテーション、オフライン推論)ではスループットを監視し、最適化の方向はバッチサイズ、並列数、GPU利用率である。よくある調達の失敗:スループットのデータでリアルタイム製品の応答速度を美化すること——ベンダーは「毎秒五百リクエストを処理する」と言うが、各リクエストのP95レイテンシはすでに二秒を超えているかもしれない。

京ICP备2026014272号