Los límites de frecuencia cuentan solicitudes a lo largo del tiempo. La concurrencia cuenta solicitudes en un instante. Las solicitudes a un LLM pueden tardar muchos segundos, así que el segundo límite suele ser el primero que se alcanza.
Cómo funciona
La ley de Little relaciona las tres cifras:
requests in flight = request rate × average time per request (es decir: solicitudes en curso = tasa de solicitudes × tiempo medio por solicitud)
Tome una clave hipotética que permite 5 solicitudes en curso y 60 solicitudes por minuto, donde cada solicitud tarda 20 segundos. El tope de concurrencia permite como máximo 5 ÷ 20 = 0.25 solicitudes por segundo, o 15 por minuto. Nunca llegará a 60 por minuto, porque la concurrencia es el límite que manda. Con solicitudes de 2 segundos, el mismo tope permite 150 por minuto, y entonces manda el límite de frecuencia. La calculadora de límites de frecuencia hace esta cuenta con sus propias cifras.
Las salidas largas, los tokens de razonamiento y los prompts largos alargan las solicitudes, así que consumen la concurrencia más rápido. Una respuesta en streaming ocupa su espacio hasta que termina.
Por qué importa
Los proveedores limitan la concurrencia porque la memoria y el cómputo de las GPU son compartidos. Los benchmarks de NVIDIA muestran que, a medida que sube la concurrencia en un servidor, la salida total aumenta mientras bajan los tokens por segundo de cada solicitud. Un tope por clave evita que un cliente ralentice a todos.
En su aplicación, la concurrencia determina el tamaño de los pools de workers y cuántos agentes pueden ejecutarse en paralelo. Dimensione su pool según el tope, no por encima, o los workers sobrantes solo acumularán errores 429.
En BroadNet Inference
| Acceso | Concurrencia |
|---|---|
| Clave de pago por uso | 4 solicitudes en curso, más 30 solicitudes por minuto |
| Clave por hora | Un stream |
| Plan ilimitado | Una solicitud a la vez por sesión |
Los planes venden concurrencia directamente. Una sesión no tiene medidor de tokens y ejecuta una solicitud a la vez, como trabaja un agente. Las solicitudes de una misma sesión hacen cola una tras otra. Para ejecutar agentes en paralelo, compre una sesión por agente: un orquestador más tres subagentes necesitan cuatro sesiones. Una clave puede tener varias sesiones.
Lea cómo funcionan las sesiones ilimitadas y cómo ejecutar agentes de programación en paralelo con tarifa plana. Los agentes pasan buena parte del tiempo ejecutando herramientas, así que mida el solapamiento real antes de comprar más sesiones.
Errores comunes
- Iniciar un worker por tarea sin pool. Un lote de 100 tareas se convierte en 100 solicitudes a la vez.
- Configurar timeouts del cliente más cortos que una respuesta de razonamiento larga. El cliente abandona mientras el espacio sigue ocupado.