Quando uma API diz “vá mais devagar”, tentar de novo na hora piora tudo. O backoff exponencial espera mais a cada vez.
Como funciona
Depois de uma falha, espere um atraso base e dobre-o a cada nova falha, até um máximo. Com base de 1 segundo e teto de 32 segundos, as esperas ficam em 1, 2, 4, 8, 16, 32, 32 segundos. Pare depois de um número fixo de tentativas e exponha o erro.
O backoff sozinho não basta. Se 100 clientes falham no mesmo momento, todos tentam de novo nos mesmos momentos também. O post de Marc Brooker no blog da AWS compara “Full Jitter” (uma espera aleatória entre zero e o teto atual), “Equal Jitter” e “Decorrelated Jitter”. O Equal Jitter se saiu pior, e o Full Jitter “uses less work, but slightly more time” (tradução: gasta menos trabalho, mas um pouco mais de tempo). A conclusão dele: o backoff com jitter “should be considered a standard approach for remote clients” (tradução: deve ser considerado uma abordagem padrão para clientes remotos).
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Por que isso importa
- Os 429 também contam. O guia de rate limits da OpenAI avisa que “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work” (tradução: requisições malsucedidas contam para o seu limite por minuto, então reenviar uma requisição sem parar não funciona). Martelar um rate limit mantém você bloqueado.
- Retries se multiplicam. A Builders’ Library da AWS observa que retries são “selfish” (egoístas) e recomenda repetir em um único ponto da stack; repetir em todas as camadas pode multiplicar a carga muitas vezes.
- Efeitos colaterais. Repetir uma chamada que cobra dinheiro só é seguro com uma idempotency key.
- Prevenir é melhor que repetir. Limite as requisições em andamento abaixo do seu limite de concorrência, para que os 429 sejam raros desde o começo.
Na BroadNet Inference
A tabela de erros da BroadNet diz para responder a um 429 com “response details and bounded backoff” (tradução: os detalhes da resposta e um backoff limitado) e para repetir 500, 502, 503 e 504 “with bounded exponential backoff” (com backoff exponencial limitado). Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Para 400, 401, 403, 413 e 422, corrija a causa antes. Guarde o header X-Request-ID para o suporte. O guia de erros e retries define a quantidade de retries dos SDKs, e como tratar o erro 429 em APIs de LLM traz código de limitador e fila. A calculadora de rate limit mostra quanto tráfego cabe dentro de um limite.