BroadRouter

Time to first token (TTFT)

Atualizado em

Time to first token (TTFT) é o tempo entre o envio de uma requisição a um modelo de linguagem e a chegada do primeiro token de saída. Inclui o tempo de rede, a fila no servidor e o prefill, etapa em que o modelo lê o prompt inteiro, então cresce com o tamanho do prompt e a carga.

Também chamado de: TTFT, tempo até o primeiro token, latência do primeiro token, tempo para o primeiro token, first-token latency, time to first content token, first token time

O TTFT é a pausa antes de qualquer coisa acontecer. Numa janela de chat, é a tela em branco; num bot de voz, é o silêncio na linha.

Como funciona

O guia de benchmarking da NVIDIA divide o TTFT em três partes: “request queuing time, prefill time, and network latency” (tradução: tempo de fila da requisição, tempo de prefill e latência de rede). Cada uma tem a sua causa:

Parte O que influencia O que você pode mudar
Rede Distância, handshake TLS, proxies Reaproveite conexões; chame de uma região próxima
Fila O quanto o servidor está ocupado Horários de menor movimento, um modelo ou tier menos carregado
Prefill Tamanho do prompt, tamanho do modelo Prompts mais curtos, prefixos estáveis que podem ir para o cache

Com entradas longas, o prefill costuma ser a maior parte. O modelo passa o prompt inteiro por todas as camadas para montar o KV cache antes de produzir o primeiro token. A NVIDIA observa que, em um servidor ocupado, o prefill de uma requisição pode se sobrepor à geração de outra, então o TTFT também varia com o tráfego dos outros.

Duas definições importam na hora de ler os números. O AIPerf da NVIDIA só conta o primeiro token se ele tiver conteúdo. Para texto em streaming na Responses API, o guia da OpenAI mede o TTFT “until you receive the first nonempty response.output_text.delta” (tradução: até você receber o primeiro response.output_text.delta não vazio). Com tokens de raciocínio, a primeira palavra visível pode chegar bem depois do primeiro token gerado, então deixe claro de qual dos dois você está falando.

Por que isso importa

O TTFT define o quanto um produto parece rápido, mais do que a velocidade bruta. O guia da OpenAI diz que “a long prompt can delay the first token, especially when much of the input is new” (tradução: um prompt longo pode atrasar o primeiro token, principalmente quando boa parte da entrada é nova). É aí que os tokens de entrada em cache ajudam. O mesmo guia diz que o prompt caching “can reuse an eligible exact prefix match” (tradução: pode reaproveitar um prefixo idêntico elegível) e sugere comparar o TTFT com e sem acertos de cache. Um prefixo em cache pula parte do prefill, então um system prompt repetido custa menos e pode começar antes.

Para agentes, o TTFT é pago a cada passo. Vinte chamadas de ferramenta com TTFT de dois segundos somam quarenta segundos de espera antes de contar qualquer saída.

O TTFT é uma parte da latência de ponta a ponta. O resto é o tempo de geração, definido pelos tokens por segundo.

Na BroadNet Inference

A documentação da BroadNet descreve o streaming com Server-Sent Events, terminando com data: [DONE], que é como você observa o primeiro token no cliente. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, então o tempo até o primeiro texto visível inclui o raciocínio. A BroadNet não publica um número de TTFT. Para um script de medição e relatórios p50/p95, veja latência de LLM: TTFT vs tokens por segundo.

Perguntas frequentes

Por que o TTFT fica lento com um prompt longo?

O modelo precisa ler cada token do prompt e montar o KV cache antes de conseguir escrever qualquer coisa. O guia de métricas da NVIDIA diz que prompts mais longos aumentam o TTFT exatamente por isso.

O streaming reduz o time to first token?

Não. O streaming permite ver o primeiro token assim que ele existe; sem streaming, você espera a resposta inteira. O trabalho do servidor antes desse token é o mesmo nos dois casos.

Um primeiro chunk vazio conta como primeiro token?

Na maioria dos benchmarks, não. O AIPerf da NVIDIA ignora respostas iniciais sem conteúdo, e a OpenAI mede o TTFT até o primeiro delta de texto não vazio.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity