BroadRouter
Начать

Экспоненциальная задержка (exponential backoff)

Обновлено

Экспоненциальная задержка (exponential backoff) — это стратегия повторов, при которой клиент после каждой неудачной попытки ждёт дольше, обычно удваивая паузу до потолка, прежде чем попробовать снова. Случайный джиттер в каждой паузе разносит повторы множества клиентов, чтобы они не били в сервер одновременно.

Также называют: экспоненциальный бэкофф, экспоненциальная выдержка, повторы с задержкой, джиттер, backoff, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Когда API говорит «помедленнее», немедленный повтор только ухудшает дело. Экспоненциальная задержка ждёт с каждым разом дольше.

Как это работает

После сбоя подождите базовую задержку, затем удваивайте её при каждом новом сбое до максимума. При базе в 1 секунду и потолке в 32 секунды паузы будут такими: 1, 2, 4, 8, 16, 32, 32 секунды. Остановитесь после фиксированного числа попыток и передайте ошибку выше.

Одной задержки мало. Если 100 клиентов упали в один момент, они и повторять будут в одни и те же моменты. В посте Marc Brooker в блоге AWS сравниваются “Full Jitter” (случайная пауза от нуля до текущего потолка), “Equal Jitter” и “Decorrelated Jitter”. Equal Jitter оказался самым слабым, а Full Jitter “uses less work, but slightly more time” (перевод: «требует меньше работы, но чуть больше времени»). Его вывод: задержка с джиттером “should be considered a standard approach for remote clients” (перевод: «должна считаться стандартным подходом для удалённых клиентов»).

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Почему это важно

  • 429 тоже считаются. Руководство OpenAI по rate limits предупреждает: “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work” (перевод: «неудачные запросы входят в ваш поминутный лимит, поэтому непрерывная повторная отправка запроса не сработает»). Если долбить rate limit, вы так и останетесь заблокированы.
  • Повторы множатся. AWS Builders’ Library отмечает, что повторы “selfish” (перевод: «эгоистичны»), и советует повторять в одной точке стека; повторы на каждом уровне могут умножить нагрузку многократно.
  • Побочные эффекты. Повтор вызова, за который списываются деньги, безопасен только с ключом идемпотентности.
  • Профилактика лучше повторов. Держите число запросов в работе ниже лимита параллельности, чтобы 429 изначально были редкостью.

В BroadNet Inference

Таблица ошибок BroadNet предписывает отвечать на 429 с учётом “response details and bounded backoff” (перевод: «деталей ответа и ограниченной задержки»), а 500, 502, 503 и 504 повторять “with bounded exponential backoff” (перевод: «с ограниченной экспоненциальной задержкой»). Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. При 400, 401, 403, 413 и 422 сначала устраните причину. Сохраняйте заголовок X-Request-ID для поддержки. Число повторов в SDK настраивается в руководстве по ошибкам и повторам, а код ограничителя и очереди есть в статье как обрабатывать 429 в LLM API. Калькулятор rate limit показывает, какой трафик помещается под лимит.

Вопросы и ответы

Какие ошибки стоит повторять с экспоненциальной задержкой?

Превышение лимитов (429), ошибки сервера (5xx), тайм-ауты и оборванные соединения. Не повторяйте без изменений 400, 401, 403, 413 и 422: сначала исправьте запрос или ключ.

Зачем нужен джиттер?

Без него клиенты, упавшие вместе, вместе и повторяют запрос и снова перегружают сервер. Джиттер делает каждую паузу случайной, и повторы разносятся во времени.

Есть ли экспоненциальная задержка в SDK OpenAI из коробки?

Да. Официальные SDK OpenAI повторяют запросы при ошибках соединения, 429 и 5xx с короткой экспоненциальной задержкой. Задайте max_retries явно, побольше для долгих пакетных задач, и добавьте поверх собственный ограничитель.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity