BroadRouter

Tiempo hasta el primer token (TTFT)

Actualizado

El tiempo hasta el primer token (TTFT) es lo que pasa desde que se envía una solicitud a un modelo de lenguaje hasta que llega el primer token de salida. Incluye la red, la cola del servidor y el prefill, cuando el modelo lee todo el prompt, así que crece con el largo del prompt y la carga.

También llamado: tiempo hasta el primer token, tiempo al primer token, latencia del primer token, TTFT, time to first token, first-token latency, time to first content token, first token time

El TTFT es la pausa antes de que pase algo. En una ventana de chat es la pantalla en blanco; en un bot de voz, el silencio.

Cómo funciona

La guía de benchmarking de NVIDIA divide el TTFT en tres partes: “request queuing time, prefill time, and network latency” (traducción: el tiempo de espera de la solicitud en cola, el tiempo de prefill y la latencia de red). Cada una tiene su propia causa:

Parte Qué la determina Qué puede cambiar
Red Distancia, negociación TLS, proxies Reutilice conexiones; llame desde una región cercana
Cola Qué tan ocupado está el servidor Horarios de menor demanda, un modelo o nivel menos cargado
Prefill Largo del prompt, tamaño del modelo Prompts más cortos, prefijos estables que se puedan cachear

Con entradas largas, el prefill suele ser la parte más grande. El modelo pasa todo el prompt por cada capa para construir la caché KV antes de poder producir el primer token. NVIDIA señala que, en un servidor ocupado, el prefill de una solicitud puede solaparse con la generación de otra, así que el TTFT también varía con el tráfico de los demás.

Al leer cifras importan dos definiciones. AIPerf de NVIDIA solo cuenta el primer token si trae contenido. Para el texto en streaming de la Responses API, la guía de OpenAI mide el TTFT “until you receive the first nonempty response.output_text.delta” (traducción: hasta que recibe el primer response.output_text.delta no vacío). Con tokens de razonamiento, la primera palabra visible puede llegar mucho después del primer token generado, así que aclare a cuál se refiere.

Por qué importa

El TTFT define qué tan rápido se siente un producto, más que la velocidad bruta. La guía de OpenAI dice que “a long prompt can delay the first token, especially when much of the input is new” (traducción: un prompt largo puede retrasar el primer token, sobre todo cuando gran parte de la entrada es nueva). Aquí es donde ayudan los tokens de entrada en caché. La misma guía dice que el prompt caching “can reuse an eligible exact prefix match” (traducción: puede reutilizar una coincidencia exacta de prefijo que cumpla los requisitos) y sugiere comparar el TTFT con y sin aciertos de caché. Un prefijo en caché se salta parte del prefill, así que un prompt de sistema repetido cuesta menos y puede arrancar antes.

En los agentes, el TTFT se paga en cada paso. Veinte llamadas a herramientas con un TTFT de dos segundos suman cuarenta segundos de espera antes de contar cualquier salida.

El TTFT es una parte de la latencia total. El resto es el tiempo de generación, que depende de los tokens por segundo.

En BroadNet Inference

La documentación de BroadNet describe el streaming con Server-Sent Events, que termina con data: [DONE]; así es como se observa el primer token en el cliente. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, así que el tiempo hasta el primer texto visible incluye el razonamiento. BroadNet no publica una cifra de TTFT. Para un script de medición y reportes p50/p95, consulte latencia de LLM: TTFT frente a tokens por segundo.

Preguntas frecuentes

¿Por qué el TTFT es lento con un prompt largo?

El modelo tiene que leer cada token del prompt y construir su caché KV antes de poder escribir nada. La guía de métricas de NVIDIA indica que los prompts más largos aumentan el TTFT justamente por eso.

¿El streaming reduce el tiempo hasta el primer token?

No. El streaming le permite ver el primer token en cuanto existe; sin él, espera la respuesta completa. El trabajo del servidor antes de ese token es el mismo en ambos casos.

¿Un primer fragmento vacío cuenta como primer token?

En la mayoría de los benchmarks, no. AIPerf de NVIDIA ignora las respuestas iniciales sin contenido, y OpenAI mide el TTFT hasta el primer delta de texto no vacío.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity