BroadRouter
Commencer

Concurrence (requêtes simultanées)

Mis à jour

La concurrence est le nombre de requêtes qu’un client a en cours au même moment. Les API de LLM la plafonnent souvent par clé ou par forfait, indépendamment des requêtes par minute, car chaque requête ouverte occupe de la capacité GPU jusqu’à la fin de sa réponse.

Aussi appelé : concurrence, requêtes simultanées, requêtes parallèles, requêtes en cours, limite de concurrence, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Les limites de débit comptent les requêtes sur une durée. La concurrence compte les requêtes à un instant donné. Les requêtes de LLM peuvent durer de nombreuses secondes, si bien que c’est souvent la seconde limite qui se fait sentir en premier.

Comment ça marche

La loi de Little relie les trois grandeurs (requêtes en cours = débit de requêtes × durée moyenne par requête) :

requests in flight = request rate × average time per request

Prenons une clé hypothétique qui autorise 5 requêtes en cours et 60 requêtes par minute, chaque requête durant 20 secondes. La limite de concurrence autorise au plus 5 ÷ 20 = 0,25 requête par seconde, soit 15 par minute. Vous n’atteindrez jamais 60 par minute, car c’est la concurrence qui limite. Avec des requêtes de 2 secondes, la même limite autorise 150 requêtes par minute, et c’est alors la limite de débit qui s’applique. Le calculateur de limite de débit fait ce calcul avec vos propres chiffres.

Les sorties longues, les tokens de raisonnement et les prompts longs allongent tous la durée des requêtes, et consomment donc la concurrence plus vite. Une réponse en streaming garde son emplacement jusqu’à sa fin.

Pourquoi c’est important

Les fournisseurs plafonnent la concurrence parce que la mémoire et la puissance de calcul des GPU sont partagées. Les benchmarks de NVIDIA montrent que lorsque la concurrence augmente sur un serveur, la production totale augmente tandis que les tokens par seconde de chaque requête diminuent. Un plafond par clé évite qu’un client ralentisse tout le monde.

Pour votre application, la concurrence fixe la taille des pools de workers et le nombre d’agents qui peuvent tourner côte à côte. Dimensionnez votre pool sur ce plafond, pas au-delà, sinon les workers en trop ne feront que collectionner des erreurs 429.

Sur BroadNet Inference

Accès Concurrence
Clé à l’usage 4 requêtes en cours, plus 30 requêtes par minute
Clé horaire Un flux
Forfait illimité Une requête à la fois par session

Les forfaits vendent directement de la concurrence. Une session n’a pas de compteur de tokens et traite une requête à la fois, comme travaille un agent. Les requêtes d’une même session font la queue les unes derrière les autres. Pour faire tourner des agents en parallèle, achetez une session par agent : un orchestrateur plus trois sous-agents nécessitent quatre sessions. Une clé peut contenir plusieurs sessions.

Lisez comment fonctionnent les sessions illimitées et comment faire tourner des agents de code en parallèle avec un forfait. Les agents passent beaucoup de temps à exécuter des outils : mesurez le chevauchement réel avant d’acheter plus de sessions.

Erreurs fréquentes

  • Lancer un worker par tâche sans pool. Un lot de 100 tâches devient 100 requêtes simultanées.
  • Régler des timeouts client plus courts qu’une longue réponse de raisonnement. Le client abandonne alors que l’emplacement est encore occupé.

Questions fréquentes

Que se passe-t-il si je dépasse la limite de concurrence ?

Selon le fournisseur, la requête en trop est refusée, souvent avec un 429, ou elle attend dans une file jusqu’à ce qu’un emplacement se libère.

Le streaming occupe-t-il un emplacement de concurrence ?

Oui. Une réponse en streaming garde son emplacement jusqu’à l’arrivée du dernier chunk : les sorties longues occupent donc un emplacement plus longtemps.

De combien de requêtes simultanées un agent de code IA a-t-il besoin ?

Un agent en a généralement besoin d’une, car il attend chaque réponse avant l’étape suivante. Un orchestrateur avec trois sous-agents qui tournent en même temps en a besoin de quatre au maximum : quatre si l’orchestrateur envoie des requêtes pendant qu’ils tournent, trois s’il les attend.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity