BroadRouter

Лимиты запросов LLM API у провайдеров: RPM, TPM и параллельность

Команда BroadNet Inference · 8 мин чтения · Опубликовано · Обновлено

Лимиты запросов LLM API различаются не только размером, но и тем, что они считают. OpenAI, Anthropic и Gemini ограничивают запросы и токены в минуту в зависимости от уровня использования. DeepSeek и DeepInfra ограничивают одновременные запросы. Бесплатные уровни Groq и Cerebras добавляют суточные лимиты. На первых платных уровнях OpenAI и Anthropic допускают тысячи запросов в минуту, ключи BroadNet с оплатой по факту — 30.

Если поискать «лимиты запросов LLM API», вы найдёте таблицы в блогах, которые противоречат друг другу — часто потому, что в них скопированы старые цифры. Здесь каждое значение взято из документации самого провайдера 15 ноября 2026 г., для каждого указано, к какому уровню и какой модели оно относится, а если провайдер цифру не публикует, ячейка остаётся пустой. Те же данные в виде датасета для скачивания, вместе с бесплатными кредитами и условиями использования данных, — в разделе бесплатные уровни и лимиты запросов LLM API. BroadRouter — собственный сайт BroadNet, и лимиты BroadNet тоже есть в таблице.

Что означают RPM, TPM, RPD и параллельность?

Лимит запросов ограничивает, сколько вы можете отправить за определённое окно времени. Провайдеры считают разное:

Лимит Что считает Сильнее всего мешает, когда
RPM, запросы в минуту Запросы, начатые за минуту Вы отправляете много коротких вызовов (классификация, циклы в духе эмбеддингов)
RPS, запросы в секунду То же, но за одну секунду Вы отправляете всплески, даже если среднее за минуту невелико
TPM, токены в минуту Токены, обработанные за минуту, иногда отдельно вход (ITPM) и выход (OTPM) Вы отправляете длинные промпты или длинные документы
RPD / TPD, в сутки Запросы или токены за сутки Вы запускаете пакетное задание на бесплатном уровне
Параллельность Запросы, выполняющиеся в один и тот же момент Запросы медленные: рассуждения, длинные ответы, агенты

Какой лимит упрётся первым, зависит от формы ваших запросов. При лимите параллельности пропускная способность зависит от длины запроса: в документации DeepInfra приводится пример, где 200 одновременных запросов при средней длительности 1 секунда дают примерно 12 000 RPM. Запрос с рассуждениями на 30 секунд при той же параллельности даст лишь малую часть этого.

Большинство провайдеров к тому же применяют лимиты на более коротких окнах, чем публикуют. Anthropic пишет, что лимит 60 RPM “might be enforced as 1 request per second” (перевод: «может применяться как 1 запрос в секунду»), а xAI выводит посекундный лимит из минутного бюджета: “RPM / 48, with a minimum of 2” (перевод: «RPM / 48, но не меньше 2»).

Как работают уровни использования?

Крупные провайдеры закрытых моделей повышают лимиты по мере того, как вы тратите больше:

Провайдер Уровни (проверено 2026-11-15) Как перейти выше
OpenAI Free, Build, Launch, Grow Free: пользователь должен находиться в разрешённой географии; месячный лимит использования USD 100 (потолок расходов, а не кредит). Далее суммарная покупка кредитов на USD 5, USD 100 и USD 500 с месячными лимитами использования USD 500, USD 5 000 и USD 200 000
Anthropic Evaluation, Start, Build, Scale, Custom Автоматически, по истории использования и состоянию аккаунта. Месячные лимиты расходов: Start USD 500, Build USD 1 000, Scale USD 200 000
Google Gemini API Free, Tier 1, Tier 2, Tier 3 Для Tier 1 нужен привязанный платёжный аккаунт; для Tier 2 — оплата USD 100 плюс 3 дня; для Tier 3 — USD 1 000 плюс 30 дней. Google пишет, что указанные лимиты “not guaranteed” (перевод: «не гарантируются»), и даёт “no guarantees” (перевод: «никаких гарантий») по запросам на повышение
Fireworks AI От Tier 1 до Tier 4 Способ оплаты для Tier 1, затем USD 50, USD 500 и USD 5 000 расходов или кредитов. Уровни повышают TPM, но не RPM
xAI От Tier 0 до Tier 4, Enterprise Накопленные расходы с 1 января 2026 г.: USD 0, 50, 250, 1 000 и 5 000

На практике важны две детали. Когда вы достигаете лимита расходов Anthropic, API возвращает HTTP 429 без заголовка retry-after, поэтому автоматические повторы будут падать, пока не начнётся новый месяц или вы не перейдёте на другой уровень. А лимит входа у Anthropic учитывает только вход не из кэша: чтения из кэша не засчитываются, поэтому высокая доля попаданий в кэш повышает реальную пропускную способность.

Лимиты запросов LLM API по провайдерам: начальный уровень

Цифры для бесплатного или первого платного уровня каждого провайдера, со страницы о лимитах самого провайдера. Прочерк означает, что страница не публикует число для этого лимита, а не что лимита нет.

Провайдер Уровень и модель RPM TPM В сутки Параллельность
OpenAI Build; Astra, Sol, Terra 5 000 1 000 000 – –
OpenAI Build; Luna 5 000 2 000 000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4 000 2 000 000 на вход (не из кэша), 400 000 на выход – –
Google Gemini API Free; Gemini Decision 1 (единственная модель с бесплатными цифрами на странице) 200 50 000 10 000 запросов –
Google Gemini API Tier 1; Gemini Decision 1 1 500 1 000 000 50 000 запросов –
Groq Таблица бесплатного плана; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8 000 1 000 запросов, 200 000 токенов –
Groq Таблица плана Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b 1 000 250 000 500 000 запросов –
Cerebras Free Trial; gpt-oss-120b 5 30 000 не из кэша (90 000 всего) 1 000 000 токенов –
Cerebras Developer (оплата по факту); gpt-oss-120b 1 000 500 000 не из кэша (1 500 000 всего) Без лимита –
Fireworks AI Без способа оплаты и кредитов; на весь аккаунт 10 – – –
Fireworks AI Со способом оплаты и кредитами; на весь аккаунт 6 000 Зависит от уровня расходов – –
DeepInfra По умолчанию; на публичную модель – – – 200
DeepSeek По умолчанию; deepseek-flash (DeepSeek-V4.1-Flash-1017), на аккаунт – – – 2 500
DeepSeek По умолчанию; deepseek-v4-pro (DeepSeek-V4-Pro-0813), на аккаунт – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50 000 000 – –
OpenRouter Модели :free, куплено кредитов меньше чем на USD 10 20 – 50 запросов –
OpenRouter Модели :free, куплено кредитов на USD 10 или больше 20 – 1 000 запросов –
Cohere Пробный ключ; Command A 20 – 1 000 вызовов в месяц –
Cohere Рабочий ключ; Command A 500 – – –
BroadNet Inference Ключ с оплатой по факту; любая модель 30 – – 4
BroadNet Inference Почасовой ключ; Gemma 4 VL 26B 120 300,000 – 1 стрим
BroadNet Inference Сессия тарифа с фиксированной ценой; DeepSeek V4.1 Flash – Без счётчика токенов – 1 запрос за раз

Пояснения к строкам:

  • Groq. На странице две вкладки: “Free Plan Limits” (перевод: «Лимиты бесплатного плана», открыта по умолчанию) и “Developer Plan Limits” (перевод: «Лимиты плана Developer»). Предложение над ними называет цифры “the base limits for the Developer plan” (перевод: «базовые лимиты плана Developer»), что подходит только ко второй вкладке; в таблице выше есть обе. Точные лимиты вашей организации показаны на её странице лимитов.
  • Google. Лимиты действуют на проект, а не на API-ключ. Цифры для большинства моделей видны только внутри AI Studio. Gemini Decision 1 — классификационная модель для Decisions API Google: она возвращает вероятности, а не текст, поэтому её лимиты мало говорят о чат-моделях Gemini.
  • Mistral и Together AI цифр не публикуют. Mistral показывает ваши лимиты в своей консоли вместо публичной таблицы и не даёт бесплатного доступа к API (“It doesn’t include API access”, перевод: «Доступ к API в него не входит»). Together пишет, что “may limit requests” (перевод: «может ограничивать запросы») при высоком спросе и может задавать особые лимиты для популярных моделей.
  • OpenRouter. У платных вариантов моделей “no platform-level request cap” (перевод: «нет ограничения запросов на уровне платформы»), но у провайдеров, которые стоят за каждой моделью, остаются собственные лимиты.
  • DeepSeek. Под нагрузкой DeepSeek держит соединение открытым, отправляя пустые строки или комментарии : keep-alive, и закрывает его, если инференс не начался за 10 минут. Учитывайте это, когда задаёте тайм-аут клиента.

Как лимиты BroadNet выглядят на этом фоне, если честно?

Для больших объёмов они низкие. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, тогда как первые платные уровни OpenAI и Anthropic допускают тысячи запросов в минуту, а Fireworks — 6 000, как только привязана карта. Если вам нужно прогонять тысячи коротких запросов в минуту через один ключ, лучше подойдёт платный уровень крупного провайдера.

Под другие сценарии эти лимиты подходят:

  • Агенты и чат. Один агент отправляет один запрос за раз и ждёт ответа. 4 одновременных запросов хватает на нескольких агентов на ключ; отдельный ключ на приложение или на члена команды распределяет нагрузку.
  • Тарифы с фиксированной ценой. У сессии Full Moon, Orbit или Meteor нет счётчика токенов и нет дневного или недельного лимита, но она выполняет один запрос за раз с типичной скоростью около 100 токенов в секунду. Чтобы запускать агентов параллельно, купите сессию для каждого. Сколько сессий вам нужно.
  • Почасовой ключ. За $0.50 в час вы получаете один стрим Gemma 4 VL 26B с лимитом 120 запросов и 300,000 токенов в минуту.

При превышении любого лимита BroadNet возвращает HTTP 429. Справочник API не указывает время в retry-after, поэтому используйте ограниченную задержку с jitter.

Как планировать работу под лимит запросов?

  1. Найдите лимит, который упрётся первым. Посчитайте запросы в минуту, токены в минуту и число одновременных запросов для пикового трафика. Калькулятор лимитов запросов LLM делает это по размеру запроса и задержке.
  2. Ограничивайте скорость на клиенте. Token bucket, настроенный на опубликованный лимит, предотвращает большинство ошибок 429. Anthropic использует тот же алгоритм на стороне сервера.
  3. Читайте заголовки. Anthropic возвращает заголовки anthropic-ratelimit-*; Groq — заголовки x-ratelimit-*, где заголовок о запросах “always refers to Requests Per Day” (перевод: «всегда относится к запросам в сутки»). Если есть retry-after, используйте его.
  4. Повторяйте с задержкой и jitter и ограничивайте число повторов. В статье как обработать ошибки 429 есть рабочий код, а руководство по ошибкам и повторам разбирает коды состояния BroadNet.
  5. Кэшируйте стабильные префиксы. У Anthropic вход из кэша не засчитывается в лимит входа. А снижает стоимость кэш везде.
  6. Растягивайте массовые задания. Anthropic также применяет лимиты нарастания: резкий скачок трафика может вызвать 429 ещё до вашего лимита. Запускайте пакетные задания постепенно. Если Batch API нет, возобновляемый пакетный раннер удерживает задание в пределах лимитов.
  7. Попросите больше. DeepSeek, DeepInfra, Mistral и Anthropic описывают, как запросить более высокие лимиты.

Какое место здесь занимает BroadNet Inference

BroadRouter — собственный сайт BroadNet, так что делайте на это поправку. BroadNet Inference — не вариант для очень высокой частоты запросов на одном ключе: опубликованные лимиты на ключ у него заметно ниже платных уровней OpenAI, Anthropic, Fireworks или Cerebras. Он подходит для агентов и чатов, которые отправляют по несколько запросов за раз, особенно на тарифе с фиксированной ценой, где у загруженного агента нет ни счётчика токенов, ни дневного лимита. Новые аккаунты получают стартовый грант $5 на Gemma 4 VL 26B, две модели распознавания речи и почасовые ключи Gemma; для DeepSeek, GLM и Qwen нужно пополнение баланса. В режиме самообслуживания SLA нет. Посмотрите лимиты API или сравните тарифы.

Вопросы и ответы

Какие лимиты запросов у OpenAI API на первом платном уровне?

По руководству OpenAI о лимитах (проверено 15 ноября 2026 г.), уровень Build открывается после покупки кредитов на USD 5 в сумме, а месячный лимит использования на нём — USD 500. Build допускает 5 000 RPM и 1 000 000 TPM на Astra, Sol и Terra и 5 000 RPM и 2 000 000 TPM на Luna. Лимиты действуют на организацию и на проект.

Какие лимиты запросов у Anthropic API?

На уровне Start модели Claude Sonnet 5.5, Opus 5.5 и Haiku 5.5 допускают каждая 4 000 RPM, 2 000 000 входных токенов в минуту и 400 000 выходных токенов в минуту (проверено 15 ноября 2026 г.). В лимит входа засчитывается только вход не из кэша. Новые организации могут начинать с более низкого уровня Evaluation.

Какие лимиты у бесплатного Groq?

В опубликованной таблице Groq (проверено 15 ноября 2026 г.) для openai/gpt-oss-120b и qwen/qwen3.8-27b указано 30 запросов в минуту, 1 000 запросов в сутки, 8 000 токенов в минуту и 200 000 токенов в сутки. Groq отмечает, что точные лимиты вашей организации показаны на её странице лимитов. Таблица плана Developer для тех же моделей показывает 1 000 запросов в минуту, 500 000 запросов в сутки и 250 000 токенов в минуту.

Есть ли у DeepSeek API лимиты запросов?

Да, в виде лимита параллельности. DeepSeek допускает 2 500 одновременных запросов на аккаунт для deepseek-flash и 500 для deepseek-v4-pro, а сверх этого возвращает HTTP 429. Более высокие лимиты дают по запросу без доплаты (проверено 15 ноября 2026 г.).

Чем отличаются RPM, TPM и параллельность?

RPM — число запросов, начатых за минуту. TPM — число токенов, обработанных за минуту, иногда отдельно для входа и выхода. Параллельность — число запросов, выполняющихся в один и тот же момент, поэтому длинные запросы исчерпывают её даже при низком RPM.

Какие лимиты запросов у BroadNet Inference?

Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Почасовой ключ допускает 120 запросов в минуту, 300,000 токенов в минуту и 1 стрим на Gemma 4 VL 26B. Сессия тарифа с фиксированной ценой выполняет один запрос за раз. При превышении любого из лимитов возвращается HTTP 429.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники