Toda API compartilhada se protege com limites. Saber quais valem diz quão rápido você pode ir e o que fazer quando bater em um deles.
Como funciona
As APIs de LLM medem várias coisas ao mesmo tempo. A OpenAI, por exemplo, lista:
- RPM: requisições por minuto
- RPD: requisições por dia
- TPM: tokens por minuto
- TPD: tokens por dia
Vale o limite que você atingir primeiro. Muitos provedores também limitam a simultaneidade, o número de requisições em andamento.
Acima do limite, o servidor retorna 429 Too Many Requests. O MDN o descreve como o caso em que o cliente “sent too many requests in a given amount of time” (tradução: enviou requisições demais em um determinado período). Um cabeçalho Retry-After pode dizer quantos segundos esperar.
Um loop de novas tentativas seguro:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Os SDKs oficiais da OpenAI já repetem erros 429 e 5xx com backoff; defina max_retries em vez de escrever o seu próprio loop.
Por que importa
- Vazão. O seu teto real é o menor de todos os limites. Em uma chave limitada a 30 requisições por minuto, como as chaves de pagamento por uso da BroadNet, 1.000 requisições levam pelo menos 1.000 ÷ 30 minutos, não importa a velocidade do modelo. A calculadora de rate limit faz a conta com os seus limites.
- Confiabilidade. 429 sem tratamento parecem quedas do serviço. O backoff os transforma em pequenos atrasos.
- Custo. Alguns provedores também retornam 429 para tetos de gastos, comuns em chaves de pagamento por uso. Leia o corpo do erro antes de tentar de novo.
Na BroadNet Inference
| Tipo de chave | Limites |
|---|---|
| Pagamento por uso | 30 requisições por minuto, 4 simultâneas |
| Chave por hora | 120 requisições por minuto, um stream, 300,000 tokens por minuto |
| Plano ilimitado | Uma requisição por vez por sessão, sem medidor de tokens |
A BroadNet retorna 429 quando um limite de taxa, de simultaneidade, de tokens por minuto ou de gastos é atingido. Espere com backoff e tente de novo. O guia de erros e novas tentativas cobre todos os códigos de status, e o que “ilimitado” significa de verdade explica quais limites um plano de preço fixo ainda tem.
Erros comuns
- Repetir erros 401 ou 403. São problemas de chave ou de política, não de rate limit.
- Rodar muitos workers em uma chave sem um limitador compartilhado. Cada worker faz backoff sozinho enquanto os outros mantêm a chave saturada.