← 概念解説に戻る

Concept Fable

初回トークン時間

先に結論:初回トークン時間(TTFT)は、ストリーミング LLM 応答において、リクエスト送信から最初の実際に生成されたトークンを受信するまでの時間を測定する。これはシステムがどれだけ速く応答を開始するように見えるかを決める。

Time to First Token, TTFT · LLMランタイム / ユーザー体験

まず物語を読む。ここでは急いで定義を示さず、まず問題そのものを立ち上がらせる。

寓話

酒楼はまず熱いスープを出し、客は厨房が動き始めたことを知る

茶楼の語り台はもともと決まったやり方で回っていた。語り手は毎晩まず拍子木を打ってからゆっくり物語を広げ、昔のリズムで始めればめったに失敗しなかった。茶客も彼の前置きを待つことをいとわなかった。

やがて事態は大きくなった。満席の客が最初の一言を催促し始め、その声は朝から夕方まで続いた。新人はこれを数の問題だと思い、人を増やし時間を延ばせば済むと考えた。しかし老人には、多くの細部が旧来のやり方で耐えられる境界をすでに越えているのが見えていた。

管理担当者は最初の方法を試しました。後台で本全体をまず書き写してから口を開くのです。最初の数日は確かに改善が見え、列は短くなり、外部の人もこの技芸がついに新しい場面に追いついたと感じました。

しかし厄介ごとはすぐに姿を変えた。進度を急ぐために検査を省く者、不適切な仕事を無理に古いプロセスに押し込む者、最も熟練した者がかえって雑事に足を取られた。誤りは常に表に見えるとは限らず、納品後に初めて現れることが多い。 古い帳簿は来歴を説明できても、次にどう直すべきかは説明できない。

主事人はさらに規則を加え、各人にもっと署名し、もっと報告し、保護の層をもう一枚補うよう求めた。紙の上では周到に見えたが、現場はさらに遅くなった。職人たちは自分に非がないことを証明するのに忙しく、本当の亀裂は依然として元の場所で広がっていた。傍観者には結果が良くなったり悪くなったりするようにしか見えず、現場の者は速度、品質、責任のどれを先に救うべきかますます判断しにくくなった。 誰もが自分は少し多くやったと思っていたが、全体としての物事はそれによってより安定することはなかった。

寡黙な老職人はいくつかの失敗を机の上に並べた。彼は誰も責めず、皆に同じ細部を見せた。新しい制限は日常の練習にまったく入らず、納品直前に突然現れるだけだった。彼は数回の手戻りを発生順に並べ、そこで皆は、誤りがいつも同じ曲がり角で拡大されることに気づいた。

そこで工房は新しい規則に改めた。まず冒頭の言葉、人物名簿、第一折を用意し、それから語りながら後文を取り出す。最初は誰も慣れず、手足を縛られたようだった。しかし何度か繰り返すうちに、粗雑な近道は塞がれ、本当に堅実な動きがゆっくりと残っていった。

同じ圧力に再び直面したとき、納品は派手にはならなかったが、明らかに信頼できるものになった。語り手はようやく理解した。聴衆が速さや遅さを感じるのは、多くの場合、最初の一音が落ちたときから数え始めているのだ。最後になってから補救しようとすれば、その代償はすでに前のあらゆる選択の中に埋め込まれていることが多い。この新しい道はコストを消し去ったわけではないが、コストを早めに可視化し、まだ変更できるうちに対処できるようにした。

明らかにする

この物語が伝えるのは:初回 Token 時間

初回トークン時間(TTFT)は、ストリーミング LLM 応答において、リクエスト送信から最初の実際に生成されたトークンを受信するまでの時間を測定する。これはシステムがどれだけ速く応答を開始するように見えるかを決める。

TTFTはキュー、ルーティング、プロンプト処理、プリフィル、検索、ツール呼び出し、プレフィックスキャッシュ、プロンプトキャッシュの影響を受ける。総完了時延とは異なる:最初のトークンが速くても、回答全体が必ず速いとは限らない。

メタファーのマッピング

  • 最初の一口の熱いスープ:first generated token or first streamed output
  • 注文から熱いスープまで:TTFT
  • 伝票読みと材料準備:routing、retrieval、prompt processing、prefill
  • 固定メニューで下味を事前準備:prompt/prefix caching
  • いい加減なお菜:実際のモデル出力を反映しない偽の進捗
  • フルコース:total completion latency
  • 最終洞察:TTFT が扱うのは最初の実応答までの待ち時間であり、Agent 製品の信頼と可用性にとって極めて重要

Andy(任旭)判断

この概念の実戦的価値は、「賢く見えるAI機能」を納品可能、検収可能、ガバナンス可能な作業単位に分解する手助けをすることです。

レイテンシstreamingprefilldecodeKV キャッシュp95 latency

関連する識別

この概念は隣接概念と混用されやすいので、対比ページを続けて見ることをおすすめする。

京ICP备2026014272号