O TTFT é a pausa antes de qualquer coisa acontecer. Numa janela de chat, é a tela em branco; num bot de voz, é o silêncio na linha.
Como funciona
O guia de benchmarking da NVIDIA divide o TTFT em três partes: “request queuing time, prefill time, and network latency” (tradução: tempo de fila da requisição, tempo de prefill e latência de rede). Cada uma tem a sua causa:
| Parte | O que influencia | O que você pode mudar |
|---|---|---|
| Rede | Distância, handshake TLS, proxies | Reaproveite conexões; chame de uma região próxima |
| Fila | O quanto o servidor está ocupado | Horários de menor movimento, um modelo ou tier menos carregado |
| Prefill | Tamanho do prompt, tamanho do modelo | Prompts mais curtos, prefixos estáveis que podem ir para o cache |
Com entradas longas, o prefill costuma ser a maior parte. O modelo passa o prompt inteiro por todas as camadas para montar o KV cache antes de produzir o primeiro token. A NVIDIA observa que, em um servidor ocupado, o prefill de uma requisição pode se sobrepor à geração de outra, então o TTFT também varia com o tráfego dos outros.
Duas definições importam na hora de ler os números. O AIPerf da NVIDIA só conta o primeiro token se ele tiver conteúdo. Para texto em streaming na Responses API, o guia da OpenAI mede o TTFT “until you receive the first nonempty response.output_text.delta” (tradução: até você receber o primeiro response.output_text.delta não vazio). Com tokens de raciocínio, a primeira palavra visível pode chegar bem depois do primeiro token gerado, então deixe claro de qual dos dois você está falando.
Por que isso importa
O TTFT define o quanto um produto parece rápido, mais do que a velocidade bruta. O guia da OpenAI diz que “a long prompt can delay the first token, especially when much of the input is new” (tradução: um prompt longo pode atrasar o primeiro token, principalmente quando boa parte da entrada é nova). É aí que os tokens de entrada em cache ajudam. O mesmo guia diz que o prompt caching “can reuse an eligible exact prefix match” (tradução: pode reaproveitar um prefixo idêntico elegível) e sugere comparar o TTFT com e sem acertos de cache. Um prefixo em cache pula parte do prefill, então um system prompt repetido custa menos e pode começar antes.
Para agentes, o TTFT é pago a cada passo. Vinte chamadas de ferramenta com TTFT de dois segundos somam quarenta segundos de espera antes de contar qualquer saída.
O TTFT é uma parte da latência de ponta a ponta. O resto é o tempo de geração, definido pelos tokens por segundo.
Na BroadNet Inference
A documentação da BroadNet descreve o streaming com Server-Sent Events, terminando com data: [DONE], que é como você observa o primeiro token no cliente. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, então o tempo até o primeiro texto visível inclui o raciocínio. A BroadNet não publica um número de TTFT. Para um script de medição e relatórios p50/p95, veja latência de LLM: TTFT vs tokens por segundo.