BroadRouter
Начать

Лимит запросов (rate limit)

Обновлено

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

Также называют: лимиты API, ограничение частоты запросов, лимит частоты, запросов в минуту, токенов в минуту, ошибка 429, троттлинг, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

Любой общий API защищает себя лимитами. Зная, какие из них действуют, вы понимаете, с какой скоростью можно работать и что делать, когда упёрлись в ограничение.

Как это работает

LLM API измеряют несколько величин одновременно. OpenAI, например, перечисляет:

  • RPM: запросы в минуту
  • RPD: запросы в день
  • TPM: токены в минуту
  • TPD: токены в день

Действует тот лимит, в который вы упрётесь первым. Многие провайдеры также ограничивают параллельность — число одновременно выполняющихся запросов.

При превышении лимита сервер возвращает 429 Too Many Requests. MDN описывает это так: клиент “sent too many requests in a given amount of time” (перевод: «отправил слишком много запросов за заданное время»). Заголовок Retry-After может указывать, сколько секунд подождать.

Безопасный цикл повторов:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

Официальные SDK OpenAI уже повторяют ошибки 429 и 5xx с экспоненциальной задержкой; вместо собственного цикла задайте max_retries.

Почему это важно

  • Пропускная способность. Реальный потолок — наименьший из всех лимитов. Если ключ ограничен 30 запросами в минуту, как ключи BroadNet с оплатой по факту, 1000 запросов займут не меньше 1000 ÷ 30 минут, как бы быстро ни работала модель. Калькулятор лимитов посчитает это для ваших лимитов.
  • Надёжность. Необработанные 429 выглядят как сбои. Экспоненциальная задержка превращает их в короткие паузы.
  • Расходы. Некоторые провайдеры возвращают 429 и при достижении лимита расходов — это частая ситуация на ключах с оплатой по факту. Прежде чем повторять, прочитайте тело ошибки.

В BroadNet Inference

Тип ключа Лимиты
Оплата по факту 30 запросов в минуту, одновременно не больше 4
Почасовой ключ 120 запросов в минуту, один поток, 300,000 токенов в минуту
Безлимитный тариф Один запрос за раз на сессию, без счётчика токенов

BroadNet возвращает 429, когда достигнут лимит частоты, параллельности, токенов в минуту или расходов. Сделайте паузу и повторите. Все коды статусов разобраны в руководстве по ошибкам и повторам, а какие лимиты остаются у тарифа с фиксированной ценой, объясняет статья что на самом деле значит «безлимитный».

Частые ошибки

  • Повторять ошибки 401 или 403. Это проблемы ключа или политики, а не лимиты.
  • Запускать много воркеров на одном ключе без общего ограничителя. Каждый воркер делает паузу сам по себе, а остальные продолжают перегружать ключ.

Вопросы и ответы

Нужно ли повторять запрос после ошибки 429?

Да, после паузы. Если есть заголовок Retry-After, следуйте ему; если нет, используйте экспоненциальную задержку со случайным разбросом (jitter) и ограничьте число попыток. Не повторяйте ошибки лимита расходов и оплаты, которые приходят с тем же кодом.

Учитываются ли неудачные запросы в лимите?

Часто да. В руководстве OpenAI сказано, что неудачные запросы тоже учитываются в поминутных лимитах, поэтому мгновенные повторы в цикле только ухудшают ситуацию.

Чем лимит запросов отличается от лимита параллельности?

Лимит запросов считает запросы или токены за период времени. Лимит параллельности считает запросы, выполняющиеся в один момент. Ключ может упереться в любой из них первым.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity