Rate limits contam requisições ao longo do tempo. A concorrência conta requisições em um único instante. Requisições de LLM podem levar muitos segundos, então muitas vezes é o segundo limite que aperta primeiro.
Como funciona
A lei de Little liga os três números:
requests in flight = request rate × average time per request
Ou seja: requisições em andamento = taxa de requisições × tempo médio por requisição. Pense em uma chave hipotética que permite 5 requisições em andamento e 60 requisições por minuto, em que cada requisição leva 20 segundos. O teto de concorrência permite no máximo 5 ÷ 20 = 0,25 requisição por segundo, ou 15 por minuto. Você nunca chega a 60 por minuto, porque o limite que manda é a concorrência. Com requisições de 2 segundos, o mesmo teto permite 150 por minuto, e aí quem manda é o rate limit. A calculadora de rate limit faz essa conta com os seus números.
Saídas longas, tokens de raciocínio e prompts longos deixam as requisições mais demoradas, então consomem concorrência mais rápido. Uma resposta em streaming ocupa a vaga até terminar.
Por que isso importa
Os provedores limitam a concorrência porque a memória e o processamento das GPUs são compartilhados. Os benchmarks da NVIDIA mostram que, quando a concorrência em um servidor aumenta, a saída total sobe enquanto os tokens por segundo de cada requisição caem. Um teto por chave impede que um cliente deixe todos os outros mais lentos.
Para o seu app, a concorrência define o tamanho dos pools de workers e quantos agentes podem rodar lado a lado. Dimensione o pool pelo teto, não acima dele, ou os workers extras só vão colecionar erros 429.
Na BroadNet Inference
| Acesso | Concorrência |
|---|---|
| Chave de pagamento por uso | 4 requisições em andamento, mais 30 requisições por minuto |
| Chave por hora | Um stream |
| Plano ilimitado | Uma requisição por vez por sessão |
Os planos vendem concorrência diretamente. Uma sessão não tem medidor de tokens e roda uma requisição por vez, do jeito que um agente trabalha. Requisições na mesma sessão entram em fila uma atrás da outra. Para rodar agentes em paralelo, compre uma sessão por agente: um orquestrador mais três subagentes precisam de quatro sessões. Uma chave pode ter várias sessões.
Leia como funcionam as sessões ilimitadas e como rodar agentes de código em paralelo com preço fixo. Agentes passam boa parte do tempo executando tools, então meça a sobreposição real antes de comprar mais sessões.
Erros comuns
- Iniciar um worker por tarefa sem pool. Um lote de 100 tarefas vira 100 requisições de uma vez.
- Definir timeouts no cliente menores que uma resposta longa de raciocínio. O cliente desiste enquanto a vaga continua ocupada.