Когда API говорит «помедленнее», немедленный повтор только ухудшает дело. Экспоненциальная задержка ждёт с каждым разом дольше.
Как это работает
После сбоя подождите базовую задержку, затем удваивайте её при каждом новом сбое до максимума. При базе в 1 секунду и потолке в 32 секунды паузы будут такими: 1, 2, 4, 8, 16, 32, 32 секунды. Остановитесь после фиксированного числа попыток и передайте ошибку выше.
Одной задержки мало. Если 100 клиентов упали в один момент, они и повторять будут в одни и те же моменты. В посте Marc Brooker в блоге AWS сравниваются “Full Jitter” (случайная пауза от нуля до текущего потолка), “Equal Jitter” и “Decorrelated Jitter”. Equal Jitter оказался самым слабым, а Full Jitter “uses less work, but slightly more time” (перевод: «требует меньше работы, но чуть больше времени»). Его вывод: задержка с джиттером “should be considered a standard approach for remote clients” (перевод: «должна считаться стандартным подходом для удалённых клиентов»).
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Почему это важно
- 429 тоже считаются. Руководство OpenAI по rate limits предупреждает: “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work” (перевод: «неудачные запросы входят в ваш поминутный лимит, поэтому непрерывная повторная отправка запроса не сработает»). Если долбить rate limit, вы так и останетесь заблокированы.
- Повторы множатся. AWS Builders’ Library отмечает, что повторы “selfish” (перевод: «эгоистичны»), и советует повторять в одной точке стека; повторы на каждом уровне могут умножить нагрузку многократно.
- Побочные эффекты. Повтор вызова, за который списываются деньги, безопасен только с ключом идемпотентности.
- Профилактика лучше повторов. Держите число запросов в работе ниже лимита параллельности, чтобы 429 изначально были редкостью.
В BroadNet Inference
Таблица ошибок BroadNet предписывает отвечать на 429 с учётом “response details and bounded backoff” (перевод: «деталей ответа и ограниченной задержки»), а 500, 502, 503 и 504 повторять “with bounded exponential backoff” (перевод: «с ограниченной экспоненциальной задержкой»). Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. При 400, 401, 403, 413 и 422 сначала устраните причину. Сохраняйте заголовок X-Request-ID для поддержки. Число повторов в SDK настраивается в руководстве по ошибкам и повторам, а код ограничителя и очереди есть в статье как обрабатывать 429 в LLM API. Калькулятор rate limit показывает, какой трафик помещается под лимит.