BroadRouter
Commencer

Limite de débit (rate limit)

Mis à jour

Une limite de débit (rate limit) est un plafond qu’une API impose à l’usage d’un client sur une période, par exemple en requêtes ou en tokens par minute. Les requêtes au-delà sont refusées, généralement avec HTTP 429 Too Many Requests, jusqu’à ce que l’usage repasse sous la limite.

Aussi appelé : limite de débit, limitation de débit, limite de requêtes, quota d’API, RPM, TPM, requêtes par minute, tokens par minute, HTTP 429, rate limit, rate limiting, requests per minute, tokens per minute, throttling

Toute API partagée se protège par des limites. Savoir lesquelles s’appliquent vous dit à quelle vitesse aller et quoi faire quand vous en atteignez une.

Comment ça marche

Les API LLM mesurent plusieurs choses à la fois. OpenAI, par exemple, liste :

  • RPM : requêtes par minute
  • RPD : requêtes par jour
  • TPM : tokens par minute
  • TPD : tokens par jour

C’est la limite atteinte en premier qui s’applique. Beaucoup de fournisseurs plafonnent aussi la concurrence, c’est-à-dire le nombre de requêtes en cours.

Au-delà de la limite, le serveur renvoie 429 Too Many Requests. MDN le décrit comme le fait que le client a « sent too many requests in a given amount of time » (traduction : « envoyé trop de requêtes en un temps donné »). Un en-tête Retry-After peut indiquer combien de secondes attendre.

Une boucle de nouvelles tentatives sûre :

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

Les SDK officiels d’OpenAI réessaient déjà les erreurs 429 et 5xx avec un backoff ; réglez max_retries plutôt que d’écrire votre propre boucle.

Pourquoi c’est important

  • Débit. Votre plafond réel est la plus basse de toutes les limites. Sur une clé limitée à 30 requêtes par minute, comme les clés à l’usage de BroadNet, 1 000 requêtes prennent au moins 1 000 ÷ 30 minutes, quelle que soit la vitesse du modèle. Le calculateur de limites de débit fait le calcul pour vos propres limites.
  • Fiabilité. Des 429 non gérés ressemblent à des pannes. Le backoff les transforme en courts délais.
  • Coût. Certains fournisseurs renvoient aussi un 429 pour les plafonds de dépenses, fréquents sur les clés en paiement à l’usage. Lisez le corps de l’erreur avant de réessayer.

Sur BroadNet Inference

Type de clé Limites
Paiement à l’usage 30 requêtes par minute, 4 en cours simultanément
Clé horaire 120 requêtes par minute, un flux, 300,000 tokens par minute
Forfait illimité Une requête à la fois par session, pas de compteur de tokens

BroadNet renvoie un 429 quand une limite de débit, de concurrence, de tokens par minute ou de dépenses est atteinte. Patientez avec un backoff et réessayez. Le guide des erreurs et nouvelles tentatives couvre chaque code de statut, et ce que « illimité » veut vraiment dire explique quelles limites un forfait conserve.

Erreurs fréquentes

  • Réessayer des erreurs 401 ou 403. Ce sont des problèmes de clé ou de politique, pas des limites de débit.
  • Faire tourner de nombreux workers sur une seule clé sans limiteur partagé. Chaque worker patiente seul pendant que les autres maintiennent la clé saturée.

Questions fréquentes

Dois-je réessayer après un 429 ?

Oui, après une attente. Suivez l’en-tête Retry-After s’il est présent ; sinon, utilisez un backoff exponentiel avec une gigue aléatoire, et plafonnez le nombre de tentatives. Ne réessayez pas les erreurs de limite de dépenses ou de facturation qui partagent ce code de statut.

Les requêtes échouées comptent-elles dans la limite ?

Souvent, oui. Le guide d’OpenAI indique que les requêtes échouées comptent toujours dans les limites par minute : réessayer immédiatement en boucle aggrave donc la situation.

Quelle différence entre une limite de débit et une limite de concurrence ?

Une limite de débit compte les requêtes ou les tokens dans le temps. Une limite de concurrence compte les requêtes qui s’exécutent au même moment. Une clé peut atteindre l’une ou l’autre en premier.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity