← 概念辨析に戻る

Concept Contrast Fable

初回 Token 時間と毎秒 Token 数

先に結論:一方はユーザーがエンターを押してから最初の文字が見えるまでの時間を測り、他方は文字が出始めてから一分間にどれだけ出るかを測る。この二つの数値を混ぜて最適化すると、費やした金は最適化すべきでない場所にすべて投じられるかもしれない。

一方はユーザーがエンターを押してから最初の文字が見えるまでの時間を測り、他方は文字が出始めてから一分間にどれだけ出るかを測る。この二つの数値を混ぜて最適化すると、費やした金は最適化すべきでない場所にすべて投じられるかもしれない。

寓話

早く扉を開け、早く荷を運ぶ

運河のほとりに貨物倉があり、店主は周と名乗り、町の商店のために南北の貨物の輸送を専門に請け負っていた。貨物倉の流れは二段階に分かれていた。荷受け人が門口に着くとまず伝票を差し出し、貨物番号を照合し、倉の扉を開け、それから店員が中に入って貨物を棚から荷車へ運ぶ。周店主は十年余りやっており、流れは自分の手のひらのように熟知していた。

対岸にいくつか新しい貨桟が開き、値段はほぼ同じだが、配貨がより速いと約束した。周店主の商売は下がり始めた。彼は店員たちを集め、それぞれ賃金を上げ、荷運びの速度を倍にするよう求めた。店員たちは二か月間没頭して練習し、以前は三往復かかった馬車一台分の荷が、今は二往復で運び終わり、一人ひとり汗だくになりながらも足取りは風のように軽かった。

しかし商店の不満は少しも減らなかった。ある呉服商が周店主に言った。私は店員をあなたの倉庫に荷受けに行かせたが、門口で小半時も待ってやっと誰かが門を開けに来た。開けた後も登記、伝票確認、印鑑押しが必要だ。周店主は自分で倉庫の門口に三日間張り込み、荷受けの人が長い列を作っているのを目の当たりにした。一方倉庫の中では店員が荷を運び終えて箱の上に座って雑談していた——門が開かず、荷が出られない。

周店主は帳簿を開き、自分の力をすべて荷物運びの速度に注いでいたが、ボトルネックは荷物運びにはなかったと気づいた。引取伝票が提出されてから倉庫の扉が開くまで、平均で一炷香待たされる。一炷香の中に改善すべき二つの工程がある。登録師は年をとり、一枚一枚を目の前に近づけてゆっくり見る。登録台は机が一つしかなく、二組の客が同時に来ると長い列ができ、後ろの者はただ立っているしかない。

周店主は二つのことを行った。登記台に机を一脚追加し、伝票の仕分けと品番照合を専門に行う若い使用人を一人配置した。さらに入口に鈴につながる引き紐を取り付け、荷受け人が紐を引くと中で来訪を把握し、事前に出荷伝票を用意できるようにした。これにより荷受け人が伝票を差し出してから品を見るまでの時間は、線香一本分から茶一杯分にも満たない時間にまで短縮された。

年末の棚卸しで、荷倉の商売は元の水準に戻った。周店主は門口に木の札を掛け、八文字を書いた。「門が速ければ荷も速い、門が遅ければ荷は空しく運ばれる。」彼はまた帳簿のそばに新しい規則を貼った。以後、毎月の効率報告書には、第一行に開門時間——伝票を渡してから倉の扉が開くまで——を書き、第二行に荷の運搬速度——倉の扉から荷が車に載るまで——を書く。二つの数字は別々に記録し、別々に管理する。

同業者が知恵を借りに来て、どうやって配送を改善するのかと尋ねた。周店主は言った。配送は二段階に分かれる——扉を開ける時間と荷を運ぶ時間だ。扉を開けるのは遅いが荷運びは極めて速い。客は扉を開けるその段階の待ち時間だけを煩わしく感じる。二段階を混ぜて一つの合計として見ると、店員をもっと速く走らせようと必死になるが、開けるべき扉はのんびりしたままだ。

後に彼は業界の集まりでたとえた。開門時間は茶客が座って茶碗が運ばれるのを待つ時間で、荷を運ぶ速度は茶葉が開く速度だ。茶がどんなに早く泡立っても、十分で杯を運ばなければ、客はとっくに立って他店へ行っている。二つの数は別々に測り、一つは門を、一つは荷を管理する。

初回トークン時間 (TTFT)

ユーザーのリクエスト送信からモデルが最初のトークンを返すまでの遅延。この数値にはリクエストの待ち行列、コンテキストの前処理、プロンプトのエンコード、KV キャッシュの初期化が含まれる。システムの応答速度に対するユーザーの第一印象を決める。

毎秒トークン数 (TPS)

モデルが生成段階で毎秒生成できるトークン数。これはデコード過程の純粋な計算スループットを測るもので、通常は最初のトークンの後から効き始める。TPS が高いことは長い返答を滑らかに生成できることを意味するが、「どれだけ待てば始まるか」という問題は解決しない。

物語の対応

  • 番頭の荷物運びの速度は二倍になったが、客は依然として不満を言った。速く運ぶことは全体が速いことを意味せず、ボトルネックはここではない。
  • 開門時間はちょうど一炷香:受付師が遅く、机は一台、行列。問題は倉庫の中ではなく、すべて入口にあった。
  • テーブルを増やし、若い使用人を配置し、引き紐のベルを付ける:開店時間の最適化には運搬工程を動かす必要がなく、二つの工程をそれぞれ管理する。
  • 効率レポートは二行に分ける——開門時間と荷役速度を別々に記録する:二つの数字の管理ロジックはまったく異なる。
  • 茶が早く出るのと茶杯が運ばれる時間:日常の一場面で分段遅延をすぐに理解させる比喩。

プロジェクトに落とし込む

監視パネルでは TTFT と TPS を別々に打点し、別々にアラートを出す。TTFT が基準を超えたら前処理とキャッシュを調べ、TPS が基準を超えたら GPU の算力計画とバッチ処理戦略を調べる。対話型製品は TTFT を優先し、バッチ処理型製品は TPS を優先する。二つのシナリオの最適化経路は異なり、混ぜて行う最適化案は最後にはたいていどちらも振るわない。

京ICP备2026014272号