---
title: "Что такое время до первого токена (TTFT) в LLM API? | BroadRouter"
description: "Время до первого токена (TTFT) — ожидание между отправкой запроса к LLM и получением первого выходного токена. Из чего оно складывается: очередь, prefill и сеть."
url: https://broadrouter.com/ru/glossary/time-to-first-token/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/glossary/time-to-first-token/) (обновлён 2026-11-16).

# Время до первого токена (TTFT)

Обновлено 2026-11-16

Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.

Также называют: TTFT, время до первого токена, задержка первого токена, время первого токена, time to first token, first-token latency, time to first content token, first token time

TTFT — это пауза, пока ничего не происходит. В окне чата это пустой экран, в голосовом боте — тишина в эфире.

## Как это работает

Руководство NVIDIA по бенчмаркингу раскладывает TTFT на три части: “request queuing time, prefill time, and network latency” (перевод: «время в очереди, время prefill и сетевая задержка»). У каждой своя причина:

| Составляющая | От чего зависит | Что можно изменить |
| --- | --- | --- |
| Сеть | Расстояние, установка TLS, прокси | Переиспользуйте соединения; вызывайте из близкого региона |
| Очередь | Насколько загружен сервер | Время вне пика, менее загруженная модель или уровень |
| Prefill | Длина промпта, размер модели | Короче промпты, неизменные префиксы, которые можно кэшировать |

На длинных входах основная часть обычно приходится на prefill. Модель прогоняет весь промпт через все слои и строит [KV-кэш](https://broadrouter.com/ru/glossary/kv-cache/), прежде чем выдать первый токен. NVIDIA отмечает, что на загруженном сервере prefill одного запроса может совпадать по времени с генерацией другого, поэтому TTFT зависит ещё и от чужого трафика.

Когда читаете цифры, важны два определения. AIPerf от NVIDIA считает первый токен, только если в нём есть содержимое. Для стримингового текста в Responses API руководство OpenAI измеряет TTFT “until you receive the first nonempty response.output\_text.delta” (перевод: «до получения первой непустой response.output\_text.delta»). С [токенами рассуждений](https://broadrouter.com/ru/glossary/reasoning-tokens/) первое видимое слово может появиться намного позже первого сгенерированного токена, поэтому уточняйте, что имеете в виду.

## Почему это важно

Насколько быстрым кажется продукт, TTFT определяет сильнее, чем чистая скорость. В руководстве OpenAI сказано: “a long prompt can delay the first token, especially when much of the input is new” (перевод: «длинный промпт может задержать первый токен, особенно если бо́льшая часть входа новая»). Здесь помогает [вход из кэша](https://broadrouter.com/ru/glossary/cached-input-tokens/). То же руководство говорит, что кэширование промптов “can reuse an eligible exact prefix match” (перевод: «может повторно использовать подходящее точное совпадение префикса»), и предлагает сравнить TTFT с попаданиями в кэш и без них. Закэшированный префикс пропускает часть prefill, поэтому повторяющийся системный промпт стоит меньше и может начать отвечать раньше.

Агенты платят TTFT на каждом шаге. Двадцать вызовов инструментов при TTFT в две секунды добавляют сорок секунд ожидания, не считая самого вывода.

TTFT — одна из частей сквозной [задержки](https://broadrouter.com/ru/glossary/latency/). Остальное — время генерации, которое задаётся [числом токенов в секунду](https://broadrouter.com/ru/glossary/tokens-per-second/).

## В BroadNet Inference

Документация BroadNet описывает [стриминг](https://broadrouter.com/ru/glossary/streaming/) через Server-Sent Events, который заканчивается строкой `data: [DONE]`, — так первый токен и наблюдают на клиенте. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, поэтому время до первого видимого текста включает размышления. BroadNet не публикует значение TTFT. Скрипт для замеров и отчёты p50/p95 — в статье [задержка LLM: TTFT и токены в секунду](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/).

## Вопросы и ответы

### Почему при длинном промпте TTFT большое?

Модель должна прочитать каждый токен промпта и построить KV-кэш, прежде чем сможет что-то написать. Руководство NVIDIA по метрикам указывает, что длинные промпты увеличивают TTFT именно поэтому.

### Уменьшает ли стриминг время до первого токена?

Нет. Стриминг позволяет увидеть первый токен, как только он появился; без стриминга вы ждёте весь ответ. Работа сервера до этого токена в обоих случаях одинакова.

### Считается ли пустой первый чанк первым токеном?

В большинстве бенчмарков нет. AIPerf от NVIDIA игнорирует начальные ответы без содержимого, а OpenAI измеряет TTFT до первой непустой текстовой дельты.

## См. также

-   [Задержка (latency)](https://broadrouter.com/ru/glossary/latency/) (термин)
-   [Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/) (термин)
-   [KV-кэш (KV cache)](https://broadrouter.com/ru/glossary/kv-cache/) (термин)
-   [Стриминг (streaming)](https://broadrouter.com/ru/glossary/streaming/) (термин)
-   [Вход из кэша (cached input tokens)](https://broadrouter.com/ru/glossary/cached-input-tokens/) (термин)
-   [Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/) (термин)
-   [Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/) (термин)
-   [Стриминг chat completions и обрыв соединения](https://broadrouter.com/ru/guides/streaming-chat-completions/) (руководство)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/) (руководство)
-   [Задержка LLM: TTFT, токены в секунду и полное время ответа](https://broadrouter.com/ru/blog/llm-latency-ttft-throughput/) (статья)
-   [Стриминг LLM: чанки SSE, дельты, usage и отмена](https://broadrouter.com/ru/blog/llm-streaming-sse-explained/) (статья)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-time-to-first-token&utm_content=page-cta) ·

**Источники**

-   [NVIDIA NIM, метрики бенчмаркинга LLM (время до первого токена)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI, руководство по снижению задержки](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [Справочник API BroadNet Inference, стриминг и рассуждения (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-glossary-time-to-first-token&utm_content=sources)
