← 概念解説に戻る

Concept Fable

毎秒 token 数

先に結論:毎秒トークン数(TPS)は、モデルまたはサービスシステムが毎秒どれだけのトークンを生成するかを測る指標で、通常は主にデコード段階を見る。速度とスループットの重要な指標である。

Tokens Per Second, TPS · Serving metric

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

写経院は一息ごとに何字落ちるかを数え始めた

寺の写経院は以前、一卷の経をどれだけ早く写し終えるかだけを問うていた。院主は総時間を見、施主は納品日を見、誰も筆先が紙の上で一息にどれだけ進めるかは気にしなかった。

後に注文が複雑になると、ある経巻は冒頭で多くの注釈を調べる必要があるが、実際に書き始めると速かった。あるものは冒頭は簡単だが、後半は一句ごとに遅かった。総時間だけを見ても、どこが遅いのか誰にもわからない。客は不満を言い始めた。ある写字生はなかなか筆を取らないが、取りかかると速い。ある者はすぐ書き始めるが、書くほど遅くなる。二つの待ち感はまったく異なる。

院主はまず写経手に筆を止めるなと促した。写経手は不服そうに、時には止まっていない、紙を探したり墨を磨ったり版面を整えたりするのに時間がかかっているのだと言った。

そこで経理係は分けて記録し始めた:最初の文字がいつ現れるか、その後一息ごとに平均何文字落ちるか、どの時間帯に複数人が一枚の大きな机を共有するか。経理係は最初、平均落字だけを記録し、その結果、冒頭の準備時間も含めてしまい、速度は速くなったり遅くなったり見えた。写し手は理にかなって争い、分析はようやく幾つかに分けられた。

彼らは、一息あたりの文字数が継続的な書字速度を測れる一方で、体験のすべてを単独では説明できないと気づいた。最初の一文字が遅すぎれば、客はやはり焦れる。文字速度が高くても、全体の巻が長すぎれば長く待たされる。

院主も異なる経典を単純に比べることはしなくなった。大きな字もあれば、小さな注釈が多いものもある。速度を比べるには、紙、筆法、同時作業人数、経巻の長さを明示しなければならない。あるとき新しい筆に替えると、書ける字数は増えたが誤字も増えた。院主はそれから速度と修正コストを並べて見るようにし、見栄えのする速度の数字だけを追わないようにした。

この指標があれば、写経院は筆を替え、机を替え、待ち行列の方法を替えることが本当に生成段階を速くしたのかを判断でき、誰かが「前よりスムーズだ」と叫ぶのを聞くだけに頼らずに済む。院主はこの指標で約束の段取りも決めた。急ぎの品は最初の一文字までの待ち時間を見、長い巻物は持続的な書き進みを見、大勢が同じ机を囲む場合は渋滞を見る。一つの速度だけを報告すると、施主が本当の納品時間を誤解しやすい。

経理係は最後にこう書き記した。毎息の落下字数は名誉の牌ではなく、分析表である。それは写経院が筆を落とし続ける速度を教えるが、最初の一字までの待ち時間、巻全体の長さ、同席人数、コストと併せて見る必要がある。

明らかにする

この物語が語るのは:毎秒トークン数

毎秒トークン数(TPS)は、モデルまたはサービスシステムが毎秒どれだけのトークンを生成するかを測る指標で、通常は主にデコード段階を見る。速度とスループットの重要な指標である。

しかし TPS だけでは解釈できない。初回トークン時間、総遅延、プロンプト長、バッチサイズ、ハードウェア、同時実行数、出力長のすべてが、ユーザーが実際に体感する速度に影響する。

メタファーのマッピング

  • 毎息に何文字落ちるか:tokens per second
  • 最初の文字がいつ現れるか:time to first token
  • 紙を探し墨を磨り版を組む:prefill and request setup
  • 継続的な書き込み:decode phase generation
  • 多人数で大きな机を共有:バッチ処理と並行性
  • 紙、筆法、同時実行人数:TPSに影響するbenchmark conditions

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

throughputlatency

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号