TTFT は、何かが起きる前の間(ま)です。チャット画面なら真っ白な画面、音声ボットなら無音の時間です。
しくみ
NVIDIA のベンチマークのガイドは、TTFT を「request queuing time, prefill time, and network latency.」(訳:リクエストの待ち行列の時間、プリフィルの時間、ネットワークのレイテンシ)の 3 つに分けています。それぞれ原因が異なります。
| 要素 | 決める要因 | 変えられること |
|---|---|---|
| ネットワーク | 距離、TLS の確立、プロキシ | 接続を再利用する。近いリージョンから呼ぶ |
| 待ち行列 | サーバーの混雑具合 | 時間帯をずらす。負荷の低いモデルや区分を使う |
| プリフィル | プロンプトの長さ、モデルの大きさ | プロンプトを短くする。キャッシュできる安定したプレフィックスにする |
長い入力では、たいていプリフィルが最も大きな要素です。モデルは最初のトークンを出す前に、プロンプト全体をすべての層に通して KV キャッシュを作ります。NVIDIA によると、混雑したサーバーでは、あるリクエストのプリフィルが別のリクエストの生成と重なることがあるので、TTFT はほかの人のトラフィックにも左右されます。
数値を読むときは、2 つの定義に注意してください。NVIDIA の AIPerf は、内容を含む場合にだけ最初のトークンとして数えます。Responses API のストリーミングテキストについて、OpenAI のガイドは TTFT を「until you receive the first nonempty response.output_text.delta」(訳:空でない最初の response.output_text.delta を受け取るまで)で計測します。推論トークンがある場合、最初に見える言葉は、最初に生成されたトークンよりずっと後になることがあるので、どちらを指すのかを明確にしてください。
なぜ重要か
製品の体感速度を決めるのは、生の速度よりも TTFT です。OpenAI のガイドは「a long prompt can delay the first token, especially when much of the input is new」(訳:長いプロンプトは、特に入力の多くが新しい場合、最初のトークンを遅らせる)と述べています。キャッシュされた入力トークンが効くのはこの点です。同じガイドは、プロンプトキャッシュは「can reuse an eligible exact prefix match」(訳:条件を満たす完全一致のプレフィックスを再利用できる)と述べ、キャッシュヒットの有無で TTFT を比べることを勧めています。キャッシュされたプレフィックスはプリフィルの一部を省くので、繰り返し送るシステムプロンプトは安くなるうえ、早く始められることがあります。
エージェントでは、ステップごとに TTFT がかかります。TTFT が 2 秒のツール呼び出しが 20 回あれば、出力を数える前に 40 秒の待ち時間が加わります。
TTFT はエンドツーエンドのレイテンシの一部です。残りは生成時間で、1 秒あたりのトークン数で決まります。
BroadNet Inference の場合
BroadNet のドキュメントは、Server-Sent Events を使い data: [DONE] で終わるストリーミングを説明しており、クライアントで最初のトークンを観測するにはこれを使います。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論するので、最初に見えるテキストまでの時間には推論が含まれます。BroadNet は TTFT の数値を公表していません。計測用のスクリプトと p50/p95 の報告方法は、LLM のレイテンシ:TTFT とトークン/秒を参照してください。