Cuando una API dice “más despacio”, reintentar de inmediato empeora las cosas. El backoff exponencial espera más cada vez.
Cómo funciona
Tras un fallo, espere un retraso base y luego duplíquelo en cada nuevo fallo, hasta un máximo. Con una base de 1 segundo y un tope de 32 segundos, las esperas son de 1, 2, 4, 8, 16, 32 y 32 segundos. Deténgase tras un número fijo de intentos y muestre el error.
El backoff por sí solo no basta. Si 100 clientes fallan en el mismo momento, también reintentan todos en los mismos momentos. El artículo de Marc Brooker en el blog de AWS compara “Full Jitter” (una espera aleatoria entre cero y el tope actual), “Equal Jitter” y “Decorrelated Jitter”. Equal Jitter resultó el más débil, y Full Jitter “uses less work, but slightly more time.” (traducción: usa menos trabajo, pero algo más de tiempo.) Su conclusión: el backoff con jitter “should be considered a standard approach for remote clients.” (traducción: debería considerarse un enfoque estándar para clientes remotos.)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Por qué importa
- Los 429 también cuentan. La guía de límites de frecuencia de OpenAI advierte que “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (traducción: las solicitudes fallidas cuentan para su límite por minuto, así que reenviar una solicitud sin parar no funcionará.) Insistir contra un límite de frecuencia lo mantiene bloqueado.
- Los reintentos se multiplican. La AWS Builders’ Library señala que los reintentos son “selfish” (traducción: egoístas) y recomienda reintentar en un solo punto de la pila; reintentar en cada capa puede multiplicar la carga muchas veces.
- Efectos secundarios. Reintentar una llamada que cobra dinero solo es seguro con una clave de idempotencia.
- Prevenir es mejor que reintentar. Limite las solicitudes en curso por debajo de su límite de concurrencia para que los 429 sean raros desde el principio.
En BroadNet Inference
La tabla de errores de BroadNet indica responder a un 429 con “response details and bounded backoff” (traducción: los detalles de la respuesta y un backoff acotado) y reintentar 500, 502, 503 y 504 “with bounded exponential backoff.” (traducción: con backoff exponencial acotado.) Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Para 400, 401, 403, 413 y 422, corrija primero la causa. Conserve el encabezado X-Request-ID para soporte. La guía de errores y reintentos configura la cantidad de reintentos del SDK, y cómo manejar los 429 de una API de LLM incluye código de limitador y de cola. La calculadora de límites de frecuencia muestra cuánto tráfico cabe bajo un límite.