El TTFT es la pausa antes de que pase algo. En una ventana de chat es la pantalla en blanco; en un bot de voz, el silencio.
Cómo funciona
La guía de benchmarking de NVIDIA divide el TTFT en tres partes: “request queuing time, prefill time, and network latency” (traducción: el tiempo de espera de la solicitud en cola, el tiempo de prefill y la latencia de red). Cada una tiene su propia causa:
| Parte | Qué la determina | Qué puede cambiar |
|---|---|---|
| Red | Distancia, negociación TLS, proxies | Reutilice conexiones; llame desde una región cercana |
| Cola | Qué tan ocupado está el servidor | Horarios de menor demanda, un modelo o nivel menos cargado |
| Prefill | Largo del prompt, tamaño del modelo | Prompts más cortos, prefijos estables que se puedan cachear |
Con entradas largas, el prefill suele ser la parte más grande. El modelo pasa todo el prompt por cada capa para construir la caché KV antes de poder producir el primer token. NVIDIA señala que, en un servidor ocupado, el prefill de una solicitud puede solaparse con la generación de otra, así que el TTFT también varía con el tráfico de los demás.
Al leer cifras importan dos definiciones. AIPerf de NVIDIA solo cuenta el primer token si trae contenido. Para el texto en streaming de la Responses API, la guía de OpenAI mide el TTFT “until you receive the first nonempty response.output_text.delta” (traducción: hasta que recibe el primer response.output_text.delta no vacío). Con tokens de razonamiento, la primera palabra visible puede llegar mucho después del primer token generado, así que aclare a cuál se refiere.
Por qué importa
El TTFT define qué tan rápido se siente un producto, más que la velocidad bruta. La guía de OpenAI dice que “a long prompt can delay the first token, especially when much of the input is new” (traducción: un prompt largo puede retrasar el primer token, sobre todo cuando gran parte de la entrada es nueva). Aquí es donde ayudan los tokens de entrada en caché. La misma guía dice que el prompt caching “can reuse an eligible exact prefix match” (traducción: puede reutilizar una coincidencia exacta de prefijo que cumpla los requisitos) y sugiere comparar el TTFT con y sin aciertos de caché. Un prefijo en caché se salta parte del prefill, así que un prompt de sistema repetido cuesta menos y puede arrancar antes.
En los agentes, el TTFT se paga en cada paso. Veinte llamadas a herramientas con un TTFT de dos segundos suman cuarenta segundos de espera antes de contar cualquier salida.
El TTFT es una parte de la latencia total. El resto es el tiempo de generación, que depende de los tokens por segundo.
En BroadNet Inference
La documentación de BroadNet describe el streaming con Server-Sent Events, que termina con data: [DONE]; así es como se observa el primer token en el cliente. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, así que el tiempo hasta el primer texto visible incluye el razonamiento. BroadNet no publica una cifra de TTFT. Para un script de medición y reportes p50/p95, consulte latencia de LLM: TTFT frente a tokens por segundo.