← 概念解説に戻る

Concept Fable

スループット

先に結論:スループットとは、モデル提供システムが一定時間に処理できる作業量であり、多くの場合、毎秒のリクエスト数や毎秒のトークン数で測られる。バッチ処理、GPU 利用率、KV キャッシュメモリ、モデルサイズ、シーケンス長、スケジューリング、下流ツールに依存する。高いスループットは単位コストを下げ、スケールを支えるが、レイテンシ、公平性、サービスレベル目標とのバランスを取る必要がある。

Throughput · Inference

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

糧倉はついに一時間に何袋の米を出せるか計算できた

救済用の穀物倉が開かれ、米が配られた。倉の役人は最初、最も速い秤手だけに注目した。彼は一炷香の間に二十袋を量ることができ、皆が穀物倉の効率を褒めた。しかし門の外の行列はますます長くなった。

新しい総管はそばで一日見て、秤手がどんなに速くてもよく空待ちすると気づいた。米を取る人が袋を届けておらず、経理係がまだ村名を記しておらず、封袋所に縄がなく、積込口は大車に塞がれていた。最速の一瞬は隊伍全体を救えない。倉官はさらに最速の秤手を模範にし、他の者に倣わせた。結果、皆が速い秤を覚えたが、米袋はより早く封袋口で詰まり、隊伍の老人はより長く待った。

倉官はまず秤手を増やしたが、秤量済みの米袋が地面に積まれ、帳簿が追いつかなかった。さらに経理係を増やすと、積み込み口がさらに詰まった。各段階が個別に速くなると、ボトルネックを次の段階に押し付けることがある。

総管は工程を米取り、計量、袋詰め、記帳、積み込みの五段に分け、各段で十五分に安定して何袋完了できるか、また誰が誰を待っているかを見た。彼は同じ村の伝票をまとめ、短い伝票を長い伝票の間に挟み、積み込み口は路線別に分隊し、経理係は村札を事前に書いた。総管は最初、ボトルネックだけを調整し、入口のリズムは管理しなかった。米取り場に一度にあまりに多くの人を入れたため、計量は速くても経理係の机の前で再び混乱した。

一日が終わると、出荷される米は明らかに増え、隊列もより滑らかになった。しかし総管は警告する。袋を配る数だけを追うと、遠い村がずっと後回しにされかねない。生産能力は待ち時間や優先度と一緒に見なければならない。彼は後にいくつかの保護ルールを加えた。救急の村を先に通し、遠路の車列は早めに積み込み、長く待った列には短い注文を差し込む。多く配っても、秩序を失わずに配る。

災害救援が終わった後、統括は一日をいくつかの区間に分けて振り返った。朝は袋の取り出しで詰まり、昼は経理係で詰まり、夕方は荷積みで詰まった。ボトルネックは移動するので、スループットも継続的に見なければならず、昨日最も詰まった場所だけを直すわけにはいかない。

倉官はついに理解した。スループットは誰か一人が最速で見せる演技ではなく、整套のプロセスが単位時間内に安定してどれだけ納品するかである。それを高めるには、ボトルネック、空待ち、リズムを見るべきであり、最速の工程に拍手するだけではいけない。

明らかにする

この物語が語っているのは:スループット

スループットとは、モデル提供システムが一定時間に処理できる作業量であり、多くの場合、毎秒のリクエスト数や毎秒のトークン数で測られる。バッチ処理、GPU 利用率、KV キャッシュメモリ、モデルサイズ、シーケンス長、スケジューリング、下流ツールに依存する。高いスループットは単位コストを下げ、スケールを支えるが、レイテンシ、公平性、サービスレベル目標とのバランスを取る必要がある。

重要なのは、それが単なる用語ではなく、実際のAI/Agentシステムで繰り返し現れる構造的な問題だという点だ。これを理解して初めて、いつモデルを足すべきか、いつプロセスを変えるべきか、いつガバナンスを補うべきかを判断できる。

メタファーのマッピング

  • 糧倉:model serving system
  • 毎時産出米袋数:requests/sec or tokens/sec
  • 秤手の最速記録:single-request speed, not system throughput
  • 米を取って車に積むまで:pipeline stages in serving and Agent workflow
  • 村の注文を統合:batching and scheduling
  • 一部の村は待ちすぎる:throughput-latency tradeoff and fairness
  • 最終洞察:Throughput はシステム規模と単位コストを決めるが、latency と SLA から切り離して単独で最適化はできない

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

latencybatchingGPU utilizationservingtokens per second

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号