«API тормозит» может означать три разные вещи, и у каждой своё решение. Пользователь чата ждёт первого слова. Агент ждёт весь вызов инструмента целиком. Пакетному заданию важны токены в час. В этой статье — определения трёх цифр, способ измерить их из собственного кода и то, какая мера какую цифру действительно сдвигает.
Что такое TTFT, токены в секунду и полная задержка?
Руководство NVIDIA по бенчмаркингу даёт чёткие определения, и они совпадают с тем, что можно наблюдать на клиенте:
| Метрика | Что измеряет | Кто это ощущает | От чего зависит |
|---|---|---|---|
| Время до первого токена (TTFT) | Запрос отправлен → получен первый токен | Пользователи чата | Сеть, очереди, длина промпта (prefill), попадания в кэш |
| Задержка между токенами (ITL) | Средний интервал между токенами | Те, кто читает стримящийся ответ | Размер модели, оборудование, нагрузка на сервер |
| Токены в секунду на пользователя | Выходные токены после первого ÷ время генерации (от первого токена до последнего); равно 1 ÷ средний ITL | Читатели, агенты | То же, что ITL |
| Полная задержка (end-to-end) | Запрос отправлен → получен последний токен | Агенты, API, пакетные задания | TTFT + время генерации |
Формула, которая их связывает:
полная задержка ≈ TTFT + (выходные токены − 1) × ITL ≈ TTFT + выходные токены ÷ токены в секунду на пользователя
Скорость на пользователя — не то же самое, что пропускная способность сервера, то есть сколько токенов он выдаёт в сумме для всех пользователей; провайдер может повышать одно, пока другое падает.
Возьмём типичную скорость, которую BroadNet публикует для модели своих тарифов, — около 100 токенов в секунду. Время генерации растёт с длиной ответа: файл кода на 4 000 токенов генерируется примерно в восемьдесят раз дольше, чем классификация на 50 токенов, а TTFT у обоих одинаковый. Для коротких ответов большая часть ожидания — это TTFT; для длинных — скорость и длина.
Зачем моделям с рассуждениями четвёртая цифра?
Модели с рассуждениями, такие как DeepSeek V4.1 Flash, думают перед ответом, и размышления — тоже выходные токены. Если модель тратит на рассуждения 800 токенов при скорости около 100 токенов в секунду, пользователь ждёт, пока сгенерируются все 800, прежде чем увидит первое слово, даже если TTFT в сети выглядит быстрым. Поэтому отдельно измеряйте время до первого токена контента. В BroadNet Inference reasoning_effort: "low" сокращает размышления на простых шагах; компромисс объясняется в руководстве по рассуждениям.
Как измерить задержку на клиенте?
Замеряйте там, где находятся ваши пользователи, с включённым стримингом. Серверные таймеры не учитывают сеть и прокси.
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
Пять правил честного бенчмарка:
- Зафиксируйте длину промпта и указывайте её. TTFT при 500 токенах промпта и при 200 000 — разные цифры. Счётчик токенов покажет длину тестового промпта ещё до отправки.
- Зафиксируйте длину ответа через
max_tokensи промпт, который её заполняет, чтобы токены в секунду можно было сравнивать. - Указывайте p50 и p95, а не среднее. Пользователи запоминают именно хвостовую задержку.
- Распределяйте прогоны во времени. Нагрузка меняется в течение дня.
- Сначала прогрейте соединение. Первый вызов платит за DNS, TLS и установку соединения; используйте один клиент повторно.
Что на самом деле улучшает каждую цифру?
| Чтобы улучшить | Сделайте это | Почему |
|---|---|---|
| TTFT | Сократите или кэшируйте префикс промпта | Время prefill растёт с длиной промпта; кэшированные префиксы пропускают часть работы |
| TTFT | Держите соединения тёплыми, используйте ближайший регион | Убирает установку соединения и лишние круговые задержки |
| Время до первого токена контента | Снизьте уровень рассуждений или используйте модель без рассуждений для простых шагов | Меньше скрытых размышлений перед ответом |
| Токены в секунду | Используйте для этого шага модель поменьше или побыстрее | Скорость декодирования зависит от размера модели и способа обслуживания |
| Полная задержка | Просите более короткий ответ (схемы, лимиты слов) | Длина ответа умножает ITL |
| Полная задержка для множества вызовов | Запускайте независимые вызовы параллельно в пределах лимита параллельности | Реальное время падает, хотя каждый вызов остаётся прежним |
| Воспринимаемая задержка | Стримьте ответ пользователю | Он читает, пока модель пишет |
Длина ответа — самый недооценённый рычаг. Если просить «JSON с этими четырьмя полями» вместо «объясни свой ответ», время генерации может сократиться на порядок без какой-либо работы над инфраструктурой. Здесь помогает структурированный вывод.
Рычаг кэширования разобран в статье структура промпта для кэширования. Рычаг параллельности быстро упирается в лимиты запросов; см. обработку ошибок 429.
Как длина промпта меняет баланс?
TTFT растёт вместе с промптом, потому что модель должна обработать каждый входной токен, прежде чем начать писать. Это скрытая цена очень длинных промптов и часть выбора длинный контекст или RAG: промпт на 1 млн токенов отвечает на вопросы, на которые RAG ответить не может, но стартует медленнее. Если важна интерактивная скорость, держите горячий путь коротким и отправляйте большой контекст только тогда, когда он нужен для вопроса.
Какое место здесь занимает BroadNet Inference
BroadNet публикует типичную скорость около 100 токенов в секунду для модели своих тарифов и стримит в стандартном формате SSE, поэтому код выше работает без изменений. Цифр TTFT и SLA по задержке она не публикует, так что измерьте на своих промптах, прежде чем брать обязательства; час Meteor за $1 хватит на бенчмарк из 50 прогонов, а стартовый кредит покрывает такой бенчмарк на Gemma 4 VL 26B. Если вам нужна гарантированная задержка меньше секунды в большом масштабе, тестируйте внимательно: ключ с оплатой по факту допускает 4 одновременных запросов, что больше подходит приложениям и агентам, чем высоконагруженному обслуживанию в реальном времени. Модели и их цены — на страницах моделей и цен.
