У скорости две составляющие: сколько ждать, пока хоть что-то появится, и как быстро затем идёт текст. Токены в секунду измеряют вторую.
Как это работает
Документация NVIDIA по бенчмаркингу определяет связанные метрики:
- Время до первого токена (TTFT): от отправки запроса до получения первого токена. Растёт с длиной промпта.
- Межтокенная задержка (ITL): средний промежуток между выходными токенами.
- TPS на пользователя: выходные токены одного запроса, делённые на его полное время, так что в определении NVIDIA сюда входит TTFT. Многие дашборды вместо этого приводят скорость декодирования после первого токена, как и эта страница.
- TPS системы: все выходные токены по всем одновременным запросам; это также называют пропускной способностью.
Эти метрики тянут в разные стороны. NVIDIA отмечает, что с ростом параллельности TPS системы растёт, а TPS на пользователя падает. Маркетинговая цифра провайдера и скорость вашего отдельного запроса могут быть обе честными и всё же различаться.
Быстрая оценка для одного ответа:
общее время ≈ TTFT + выходные токены ÷ токены в секунду
Возьмём для примера поток в 50 токенов в секунду: ответ в 1000 токенов займёт около 20 секунд после первого токена. Если модель вдобавок пишет 2000 токенов рассуждений, прибавьте около 40 секунд до начала ответа. Время до первого токена идёт сверху.
Почему это важно
- Пользовательский опыт. Стриминг показывает текст по мере поступления, поэтому TTFT и TPS определяют, насколько быстрым кажется ответ.
- Производительность агентов. Агент для кода ждёт каждый ответ перед следующим шагом. Более быстрый вывод — больше шагов в час.
- Лимиты тарифа. На тарифе без счётчика токенов именно скорость становится реальным потолком того, сколько токенов вы можете использовать.
В BroadNet Inference
На странице тарифов BroadNet указана типичная скорость около 100 токенов в секунду для DeepSeek V4.1 Flash. Сессия на безлимитных тарифах обрабатывает один запрос за раз, поэтому при такой скорости сессия, генерирующая без остановки 30 дней, выдала бы около 259 млн выходных токенов. Реальные агенты тратят время на чтение, запуск инструментов и ожидание, так что практическая цифра ниже.
Чтобы получить больше суммарной пропускной способности на тарифе, добавляйте сессии — по одной на каждого параллельно работающего агента. Смотрите, как работают безлимитные сессии и как запускать параллельных агентов для кода.
Частые ошибки
- Сравнивать провайдеров по одному запросу. Измеряйте TTFT и TPS на многих запросах, с промптами вашего размера.
- Забывать о времени рассуждений, задавая тайм-ауты клиента.