---
title: "Ошибка 429 Too Many Requests в LLM API: как обработать"
description: "Чем 429 отличается от 5xx, экспоненциальная задержка с full jitter, ограничение параллельности и очереди для LLM API, с кодом на Python и Node для продакшена."
url: https://broadrouter.com/ru/blog/handle-llm-api-429-rate-limits/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/) (обновлён 2026-11-15).

# Ошибка 429 в LLM API: экспоненциальная задержка, jitter и лимитеры

Команда BroadNet Inference · 5 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-15

Ошибка 429 означает, что вы упёрлись в лимит запросов, параллельности или расходов. Повторяйте запрос с экспоненциальной задержкой с потолком и случайным разбросом (jitter), а если сервер прислал Retry-After, соблюдайте его. Затем предотвращайте большинство 429: ограничьте число одновременных запросов семафором на уровне лимита ключа, а остальные ставьте в очередь. 5xx повторяйте так же; другие ошибки 4xx нужно исправлять.

## Главное

-   Повторяйте 429 и 5xx с ограниченной экспоненциальной задержкой. Не повторяйте 400, 401, 403, 413 и 422: исправьте запрос или аккаунт.
-   Full jitter (случайное ожидание от нуля до экспоненциального потолка) не даёт множеству клиентов повторять запрос в один и тот же момент.
-   Большинство 429 вызваны параллельностью, а не объёмом. Семафор, равный лимиту одновременных запросов ключа, устраняет их в источнике.
-   Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно; сессии тарифа выполняют один запрос за раз.
-   Повторный запрос — это новый инференс. При оплате за токены каждый повтор оплачивается заново, поэтому ограничивайте число попыток.

**На этой странице**

1.  Чем 429 отличается от 5xx?
2.  Какие лимиты вызывают ошибку 429?
3.  Как написать задержку с jitter?
4.  Как предотвратить ошибки 429 заранее?
5.  Когда нужна настоящая очередь?
6.  Какие ошибки при повторах превращают 429 в простой?
7.  Какое место здесь занимает BroadNet Inference

Ошибка 429 означает, что ваш трафик превысил [лимит запросов](https://broadrouter.com/ru/glossary/rate-limit/): число запросов в минуту, одновременных запросов, токенов в минуту или расходов. Исправляется это в две части. **Правильно повторяйте**: экспоненциальная задержка с потолком и случайным разбросом (jitter), с учётом `Retry-After`. **Отправляйте меньше за раз**: семафор на уровне лимита одновременных запросов ключа плюс очередь. Обе части разобраны ниже, с кодом.

Полный справочник по кодам состояния — в [руководстве по ошибкам и повторам](https://broadrouter.com/ru/guides/errors-and-retries/); о многочасовых запусках агентов с контрольными точками и тайм-аутами — в статье [долгоживущие агенты: тайм-ауты и повторы](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/).

## Чем 429 отличается от 5xx?

| Код | Чья проблема | Повторять? | Как |
| --- | --- | --- | --- |
| 429 | Ваш трафик превысил лимит | Да | Задержка с jitter; соблюдать `Retry-After`; снизить параллельность |
| 500 / 502 / 503 / 504 | На стороне сервера | Да | Ограниченная экспоненциальная задержка |
| Сброс соединения, тайм-аут | Сеть или сервер | Обычно | Задержка; для стримов — только если вы готовы к новому счёту |
| 400 / 422 | Неверный запрос | Нет | Исправить тело запроса |
| 401 / 402 / 403 | Ключ, баланс или политика | Нет | Исправить ключ, пополнить баланс, исправить список разрешённых адресов |
| 413 | Слишком большой запрос | Нет | Уменьшить его |

В BroadNet Inference ошибка 429 может означать любой из четырёх лимитов: на запросы, на параллельность, на скорость расхода токенов или на расходы. Лимит расходов за 30 секунд не сбросится. В документации BroadNet не сказано, какое поле тела ошибки называет лимит, поэтому логируйте тело ответа и сравнивайте его с лимитами в сведениях о вашем ключе.

Наш открытый датасет [бесплатных тарифов и лимитов запросов LLM API](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/) сравнивает, что 14 провайдеров публикуют о бесплатном доступе, начальных лимитах запросов, требовании карты и обучении на данных бесплатного тарифа, с источником и датой для каждого значения.

## Какие лимиты вызывают ошибку 429?

Знайте цифры, в рамках которых вы работаете. В BroadNet Inference:

| Тип ключа | Запросов в минуту | Одновременно | Прочее |
| --- | --- | --- | --- |
| Оплата по факту | 30 | 4 | Общий бюджет расходов |
| Почасовой ключ | 120 | 1 стрим | 300,000 токенов в минуту |
| Сессия безлимитного тарифа | — | 1 запрос на сессию | Без счётчика токенов |

Для LLM важнее всего число одновременных запросов. Стриминговый ответ занимает слот, пока не придёт последний токен, поэтому длинный ответ держит его ровно столько, сколько модель его пишет (BroadNet указывает типичную скорость около 100 токенов в секунду). Отправьте больше параллельных вызовов, чем у ключа слотов (4), и лишние получат 429, хотя за эту минуту вы отправили лишь несколько запросов. Это проблема [параллельности](https://broadrouter.com/ru/glossary/concurrency/), и одна лишь задержка справляется с ней плохо. Чтобы рассчитать число воркеров под лимит до запуска, воспользуйтесь бесплатным [калькулятором лимитов запросов LLM](https://broadrouter.com/tools/llm-rate-limit-calculator/). Для фиксированного задания из множества элементов [планировщик пакетных заданий LLM](https://broadrouter.com/tools/llm-batch-job-planner/) переводит те же лимиты во время выполнения. Другие провайдеры считают иначе (токены в минуту, запросы в день или одновременные запросы); в статье [лимиты запросов LLM API у разных провайдеров](https://broadrouter.com/ru/blog/llm-api-rate-limits-by-provider/) 13 из них сравниваются по их собственной документации.

## Как написать задержку с jitter?

Обычная [экспоненциальная задержка](https://broadrouter.com/ru/glossary/exponential-backoff/) ждёт 1, 2, 4, 8 секунд. Если сотню воркеров ограничили в один момент, они все вернутся тоже в один момент. В симуляции AWS со 100 конкурирующими клиентами full jitter сократил число вызовов более чем вдвое и завершился быстрее, чем задержка без разброса. Самый простой вариант, **full jitter**, ждёт случайное время от нуля до экспоненциального потолка:

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0` отключает собственные повторы SDK, чтобы запрос не повторялся дважды. Если вас устраивает встроенное поведение SDK, можно и наоборот: обойтись без своего цикла и задать `max_retries=4` в клиенте, как показано в [руководстве по Python SDK](https://broadrouter.com/ru/guides/openai-python-sdk/). Официальные SDK для Python и Node по умолчанию дважды повторяют ошибки соединения, 408, 409, 429 и 5xx.

`Retry-After` — стандартный заголовок (RFC 9110), в котором может быть число секунд или дата. Документация BroadNet его не обещает, поэтому код считает его необязательным.

## Как предотвратить ошибки 429 заранее?

Ограничьте число одновременных запросов лимитом ключа. В Python это делает `asyncio.Semaphore`: один объект и один блок `async with`. В коде для примера стоит 4; задайте лимит одновременных запросов своего ключа (4 для ключа BroadNet с оплатой по факту):

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather` запускает все задачи, но одновременно выполняется столько, сколько разрешает семафор. Остальные ждут в очереди семафора. В Node то же самое делает пакет `p-limit`, снова с 4 в качестве примера:

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

Если нужен ещё и лимит в минуту, добавьте token bucket, который выдаёт одно разрешение каждые 60 / rpm секунд, где rpm — лимит запросов в минуту для вашего ключа (30 для ключа BroadNet с оплатой по факту).

## Когда нужна настоящая очередь?

Семафор живёт в одном процессе. Как только один ключ делят несколько воркеров или серверов, лимит становится общим, а каждый процесс видит только свой трафик. Тогда:

1.  Складывайте задания в общую очередь (Redis, SQS, таблица в базе данных).
2.  Запускайте фиксированное число потребителей, равное лимиту одновременных запросов ключа.
3.  Давайте каждому заданию ID и храните результаты по ID, чтобы повторённое задание не выполнялось дважды.
4.  Пропускайте интерактивный и пакетный трафик через разные ключи или разные очереди, чтобы накопившиеся пакетные задания никогда не блокировали пользователя, который ждёт ответа.

Для большого задания из тысяч элементов без Batch API см. статью [возобновляемый пакетный раннер](https://broadrouter.com/ru/blog/llm-batch-processing-without-batch-api/).

## Какие ошибки при повторах превращают 429 в простой?

-   **Повторы без ограничения.** Цикл повторов без потолка во время долгого сбоя многократно увеличивает нагрузку, а при оплате за токены — и счёт.
-   **Слепой повтор недоигранного стрима.** Если стрим уже вернул токены, повтор — это новый инференс, и пользователь может увидеть текст дважды. Как распознать незавершённые стримы, описано в [статье о стриминге](https://broadrouter.com/ru/blog/llm-streaming-sse-explained/).
-   **Повтор ошибок аккаунта.** Ошибка 401 из-за исчерпанного лимита оплаты по факту или 402 из-за недостаточного баланса сама не исправится.

Логируйте каждый повтор с кодом состояния, временем ожидания и заголовком ответа `X-Request-ID`, который документация BroadNet просит сохранять для поддержки. Растущая доля повторов — самый ранний сигнал, что вам нужно больше мощности; как её записывать, показано в статье о [логировании использования](https://broadrouter.com/ru/blog/llm-api-usage-logging/).

## Какое место здесь занимает BroadNet Inference

Лимиты BroadNet опубликованы и достаточно малы, чтобы под них проектировать: 4 одновременных запросов на ключе с оплатой по факту. Этого хватает приложениям и агентам, но слишком тесно для большого пакетного задания, которому нужны сотни параллельных вызовов на одном ключе. Для агентов у [безлимитного тарифа](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/) нет счётчика токенов, и он выполняет один запрос за раз в каждой сессии; для параллельной работы вы добавляете сессии, как описано в статье [запуск параллельных агентов для программирования](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/). Актуальные лимиты — в [справочнике API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-handle-llm-api-429-rate-limits&utm_content=body#limits).

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Экспоненциальная задержка (exponential backoff)](https://broadrouter.com/ru/glossary/exponential-backoff/)

Экспоненциальная задержка (exponential backoff) — это стратегия повторов, при которой клиент после каждой неудачной попытки ждёт дольше, обычно удваивая паузу до потолка, прежде чем попробовать снова. Случайный джиттер в каждой паузе разносит повторы множества клиентов, чтобы они не били в сервер одновременно.

[Лимит расходов (spend limit)](https://broadrouter.com/ru/glossary/spend-limit/)

Лимит расходов — это потолок суммы, которую аккаунт, проект или ключ API может потратить за период, обычно за месяц. Когда расход его достигает, провайдер отклоняет новые запросы, часто с ошибкой HTTP 429 или 400, пока не начнётся новый период или лимит не поднимут.

[Batch API (пакетная обработка запросов)](https://broadrouter.com/ru/glossary/batch-api/)

Batch API — это асинхронный эндпоинт LLM, который принимает сразу много запросов, обычно в виде файла, обрабатывает их не немедленно, а в пределах заданного окна, и возвращает результаты вместе. Такие провайдеры, как OpenAI и Anthropic, берут за пакетные запросы меньше, чем в своих стандартных API.

## Вопросы и ответы

### Что означает ошибка HTTP 429 в LLM API?

Too Many Requests («слишком много запросов»). Вы превысили лимит запросов в минуту, одновременных запросов, токенов в минуту или расходов. Запрос не был обработан, поэтому его можно безопасно отправить снова после паузы.

### Сколько ждать перед повтором после ошибки 429?

Если сервер прислал Retry-After, используйте его. Иначе начните примерно с одной секунды, удваивайте задержку с каждой попыткой, ограничьте её 30–60 секундами и выбирайте случайное ожидание от нуля до этого потолка. Остановитесь после четырёх–шести попыток.

### Нужно ли повторять ошибки 500 и 503 от LLM API?

Да, с той же ограниченной задержкой. Это ошибки на стороне сервера. Запрос с ошибкой 400, 401, 403 или 422 будет падать одинаково каждый раз, поэтому его нужно исправить.

### OpenAI SDK сам повторяет запросы при 429?

Да. Официальные SDK для Python и Node по умолчанию дважды повторяют ошибки соединения, 408, 409, 429 и 5xx с короткой экспоненциальной задержкой. Для пакетных заданий увеличьте max\_retries и добавьте собственный лимит параллельности.

### Почему я получаю 429, хотя не превышаю лимит запросов в минуту?

Обычно дело в лимите параллельности. Длинные стриминговые ответы остаются «в полёте» по многу секунд, поэтому несколько параллельных вызовов могут упереться в потолок одновременных запросов, хотя счётчик за минуту выглядит низким.

## Читайте также

-   [Долгоживущие ИИ-агенты: таймауты, повторы и чекпойнты](https://broadrouter.com/ru/blog/long-running-agents-timeouts-retries/)
-   [Стриминг LLM: чанки SSE, дельты, usage и отмена](https://broadrouter.com/ru/blog/llm-streaming-sse-explained/)
-   [Параллельные агенты для программирования на безлимитном LLM API](https://broadrouter.com/ru/blog/run-parallel-coding-agents-flat-rate/)
-   [Логирование LLM API: стоимость по пользователям и функциям без ПДн](https://broadrouter.com/ru/blog/llm-api-usage-logging/)
-   [Пакетная обработка LLM без Batch API: возобновляемый раннер](https://broadrouter.com/ru/blog/llm-batch-processing-without-batch-api/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Руководство: Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Руководство: Как устроены безлимитные тарифы LLM API для агентов](https://broadrouter.com/ru/guides/unlimited-llm-api-sessions/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**Источники**

-   [Справочник API BroadNet Inference, ошибки и лимиты (дата обращения 2026-11-14) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog, Exponential Backoff and Jitter (дата обращения 2026-11-14)](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585, код состояния 429 Too Many Requests (дата обращения 2026-11-14)](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110, заголовок Retry-After (дата обращения 2026-11-14)](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [README openai-python, автоматические повторы (дата обращения 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, повторы (дата обращения 2026-11-14)](https://github.com/openai/openai-node)
