BroadRouter
Começar

Concorrência (concurrency)

Atualizado em

Concorrência é o número de requisições que um cliente tem em andamento ao mesmo tempo. APIs de LLM muitas vezes a limitam por chave ou por plano, separadamente das requisições por minuto, porque cada requisição aberta ocupa capacidade de GPU até a resposta terminar.

Também chamado de: concorrência, requisições simultâneas, requisições em paralelo, requisições concorrentes, limite de concorrência, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limits contam requisições ao longo do tempo. A concorrência conta requisições em um único instante. Requisições de LLM podem levar muitos segundos, então muitas vezes é o segundo limite que aperta primeiro.

Como funciona

A lei de Little liga os três números:

requests in flight = request rate × average time per request

Ou seja: requisições em andamento = taxa de requisições × tempo médio por requisição. Pense em uma chave hipotética que permite 5 requisições em andamento e 60 requisições por minuto, em que cada requisição leva 20 segundos. O teto de concorrência permite no máximo 5 ÷ 20 = 0,25 requisição por segundo, ou 15 por minuto. Você nunca chega a 60 por minuto, porque o limite que manda é a concorrência. Com requisições de 2 segundos, o mesmo teto permite 150 por minuto, e aí quem manda é o rate limit. A calculadora de rate limit faz essa conta com os seus números.

Saídas longas, tokens de raciocínio e prompts longos deixam as requisições mais demoradas, então consomem concorrência mais rápido. Uma resposta em streaming ocupa a vaga até terminar.

Por que isso importa

Os provedores limitam a concorrência porque a memória e o processamento das GPUs são compartilhados. Os benchmarks da NVIDIA mostram que, quando a concorrência em um servidor aumenta, a saída total sobe enquanto os tokens por segundo de cada requisição caem. Um teto por chave impede que um cliente deixe todos os outros mais lentos.

Para o seu app, a concorrência define o tamanho dos pools de workers e quantos agentes podem rodar lado a lado. Dimensione o pool pelo teto, não acima dele, ou os workers extras só vão colecionar erros 429.

Na BroadNet Inference

Acesso Concorrência
Chave de pagamento por uso 4 requisições em andamento, mais 30 requisições por minuto
Chave por hora Um stream
Plano ilimitado Uma requisição por vez por sessão

Os planos vendem concorrência diretamente. Uma sessão não tem medidor de tokens e roda uma requisição por vez, do jeito que um agente trabalha. Requisições na mesma sessão entram em fila uma atrás da outra. Para rodar agentes em paralelo, compre uma sessão por agente: um orquestrador mais três subagentes precisam de quatro sessões. Uma chave pode ter várias sessões.

Leia como funcionam as sessões ilimitadas e como rodar agentes de código em paralelo com preço fixo. Agentes passam boa parte do tempo executando tools, então meça a sobreposição real antes de comprar mais sessões.

Erros comuns

  • Iniciar um worker por tarefa sem pool. Um lote de 100 tarefas vira 100 requisições de uma vez.
  • Definir timeouts no cliente menores que uma resposta longa de raciocínio. O cliente desiste enquanto a vaga continua ocupada.

Perguntas frequentes

O que acontece quando passo do limite de concorrência?

Depende do provedor. A requisição extra é recusada, muitas vezes com um 429, ou espera em uma fila até uma vaga ser liberada.

O streaming ocupa uma vaga de concorrência?

Sim. Uma resposta em streaming ocupa a vaga até o último chunk chegar, então saídas longas mantêm a vaga ocupada por mais tempo.

De quantas requisições simultâneas um agente de IA para código precisa?

Normalmente um agente precisa de uma, porque espera cada resposta antes do próximo passo. Um orquestrador com três subagentes rodando ao mesmo tempo precisa de até quatro. Quatro se o orquestrador envia requisições enquanto eles rodam, e três se ele espera por eles.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity