---
title: "¿Qué es la concurrencia en APIs de LLM? Solicitudes en curso"
description: "La concurrencia es cuántas solicitudes se ejecutan a la vez. Por qué las APIs de LLM la limitan, su relación con rate limits y latencia, y cómo dimensionar workers."
url: https://broadrouter.com/es/glossary/concurrency/
lang: es
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/glossary/concurrency/) (actualizado el 2026-11-14).

# Concurrencia (concurrency)

Actualizado 2026-11-14

La concurrencia es el número de solicitudes que un cliente tiene en curso al mismo tiempo. Las APIs de LLM suelen limitarla por clave o por plan, aparte de las solicitudes por minuto, porque cada solicitud abierta ocupa capacidad de GPU hasta que su respuesta termina.

También llamado: concurrencia, solicitudes concurrentes, solicitudes en paralelo, solicitudes en curso, límite de concurrencia, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Los límites de frecuencia cuentan solicitudes a lo largo del tiempo. La concurrencia cuenta solicitudes en un instante. Las solicitudes a un LLM pueden tardar muchos segundos, así que el segundo límite suele ser el primero que se alcanza.

## Cómo funciona

La ley de Little relaciona las tres cifras:

`requests in flight = request rate × average time per request` (es decir: solicitudes en curso = tasa de solicitudes × tiempo medio por solicitud)

Tome una clave hipotética que permite 5 solicitudes en curso y 60 solicitudes por minuto, donde cada solicitud tarda 20 segundos. El tope de concurrencia permite como máximo 5 ÷ 20 = 0.25 solicitudes por segundo, o 15 por minuto. Nunca llegará a 60 por minuto, porque la concurrencia es el límite que manda. Con solicitudes de 2 segundos, el mismo tope permite 150 por minuto, y entonces manda el límite de frecuencia. La [calculadora de límites de frecuencia](https://broadrouter.com/tools/llm-rate-limit-calculator/) hace esta cuenta con sus propias cifras.

Las salidas largas, los [tokens de razonamiento](https://broadrouter.com/es/glossary/reasoning-tokens/) y los prompts largos alargan las solicitudes, así que consumen la concurrencia más rápido. Una respuesta en [streaming](https://broadrouter.com/es/glossary/streaming/) ocupa su espacio hasta que termina.

## Por qué importa

Los proveedores limitan la concurrencia porque la memoria y el cómputo de las GPU son compartidos. Los benchmarks de NVIDIA muestran que, a medida que sube la concurrencia en un servidor, la salida total aumenta mientras bajan los [tokens por segundo](https://broadrouter.com/es/glossary/tokens-per-second/) de cada solicitud. Un tope por clave evita que un cliente ralentice a todos.

En su aplicación, la concurrencia determina el tamaño de los pools de workers y cuántos agentes pueden ejecutarse en paralelo. Dimensione su pool según el tope, no por encima, o los workers sobrantes solo acumularán errores 429.

## En BroadNet Inference

| Acceso | Concurrencia |
| --- | --- |
| Clave de pago por uso | 4 solicitudes en curso, más 30 solicitudes por minuto |
| Clave por hora | Un stream |
| Plan ilimitado | Una solicitud a la vez por sesión |

Los planes venden concurrencia directamente. Una sesión no tiene medidor de tokens y ejecuta una solicitud a la vez, como trabaja un agente. Las solicitudes de una misma sesión hacen cola una tras otra. Para ejecutar agentes en paralelo, compre una sesión por agente: un orquestador más tres subagentes necesitan cuatro sesiones. Una clave puede tener varias sesiones.

Lea [cómo funcionan las sesiones ilimitadas](https://broadrouter.com/es/guides/unlimited-llm-api-sessions/) y [cómo ejecutar agentes de programación en paralelo con tarifa plana](https://broadrouter.com/es/blog/run-parallel-coding-agents-flat-rate/). Los agentes pasan buena parte del tiempo ejecutando herramientas, así que mida el solapamiento real antes de comprar más sesiones.

## Errores comunes

-   Iniciar un worker por tarea sin pool. Un lote de 100 tareas se convierte en 100 solicitudes a la vez.
-   Configurar timeouts del cliente más cortos que una respuesta de razonamiento larga. El cliente abandona mientras el espacio sigue ocupado.

## Preguntas frecuentes

### ¿Qué pasa si supero el límite de concurrencia?

Según el proveedor, la solicitud adicional se rechaza, a menudo con un 429, o espera en una cola hasta que se libera un espacio.

### ¿El streaming ocupa un espacio de concurrencia?

Sí. Una respuesta en streaming ocupa su espacio hasta que llega el último fragmento, así que las salidas largas mantienen ocupado un espacio durante más tiempo.

### ¿Cuántas solicitudes concurrentes necesita un agente de programación con IA?

Un agente suele necesitar una, porque espera cada respuesta antes de su siguiente paso. Un orquestador con tres subagentes ejecutándose a la vez necesita hasta cuatro: cuatro si el orquestador envía solicitudes mientras ellos trabajan, y tres si los espera.

## Vea también

-   [Límite de frecuencia (rate limit)](https://broadrouter.com/es/glossary/rate-limit/) (término)
-   [Tokens por segundo (TPS)](https://broadrouter.com/es/glossary/tokens-per-second/) (término)
-   [Streaming (respuestas en tiempo real)](https://broadrouter.com/es/glossary/streaming/) (término)
-   [Plan de LLM con tarifa plana (flat-rate LLM plan)](https://broadrouter.com/es/glossary/flat-rate-llm-plan/) (término)
-   [Throughput (rendimiento total)](https://broadrouter.com/es/glossary/throughput/) (término)
-   [Latencia (latency)](https://broadrouter.com/es/glossary/latency/) (término)
-   [Agente de IA (AI agent)](https://broadrouter.com/es/glossary/agent/) (término)
-   [Cómo funcionan los planes de API de LLM ilimitada para agentes](https://broadrouter.com/es/guides/unlimited-llm-api-sessions/) (guía)
-   [Códigos de error de BroadNet Inference y cuándo reintentar](https://broadrouter.com/es/guides/errors-and-retries/) (guía)
-   [Cómo ejecutar agentes de programación en paralelo con tarifa plana](https://broadrouter.com/es/blog/run-parallel-coding-agents-flat-rate/) (artículo)
-   [¿Qué significa realmente «ilimitado» en un plan de API de LLM?](https://broadrouter.com/es/blog/what-unlimited-llm-api-really-means/) (artículo)

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-concurrency&utm_content=page-cta) ·

**Fuentes**

-   [Ley de Little (Wikipedia)](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM, métricas de benchmarking de LLM (concurrencia y throughput)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Referencia de la API de BroadNet Inference, límites (en inglés)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-concurrency&utm_content=sources#limits)
-   [Planes de BroadNet Inference (sesiones)](https://inference.broadnet.ai/es/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-glossary-concurrency&utm_content=sources)
