Une rate limit contrôle la vitesse à laquelle vous dépensez. Un plafond de dépenses contrôle combien.
Comment ça marche
Les fournisseurs superposent plusieurs plafonds. Deux exemples documentés :
| Fournisseur | Contrôle | Ce qui se passe une fois atteint |
|---|---|---|
| Anthropic | Plafond de dépenses du tier par mois calendaire (Start, Build, Scale ; Custom n’en a pas) | L’usage est suspendu jusqu’à 00:00 UTC le premier du mois suivant ; HTTP 429 rate_limit_error avec error.details.error_code enforced_spend_limit_reached, sans retry-after |
| Anthropic | Votre propre limite plus basse, pour l’organisation ou le workspace | HTTP 400 invalid_request_error, message commençant par « You have reached your specified API usage limits » |
| OpenAI | Limite d’usage mensuelle par tier | Non décrit dans le guide |
| OpenAI | Alerte de dépenses | Envoie une notification ; le trafic continue |
| OpenAI | Plafond strict, pour l’organisation ou le projet | Les requêtes concernées renvoient 429 |
Les plafonds par tier d’Anthropic sont de 500 USD (Start), 1 000 USD (Build) et 200 000 USD (Scale) par mois. Le guide d’OpenAI liste des limites d’usage mensuelles par tier, de 100 USD en Free à 200 000 USD en Grow, et précise que les tiers montent à mesure que le total des achats de crédit franchit des seuils.
Le piège : une 429 de plafond de dépenses ressemble à une 429 de rate limit. Sur l’API d’Anthropic, le code d’erreur permet de les distinguer, et la réponse de plafond de dépenses n’a pas d’en-tête retry-after :
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Pourquoi c’est important
- Les alertes arrivent tard. Une boucle rapide peut dépenser beaucoup avant qu’un e-mail n’arrive. Un plafond strict l’arrête.
- Les retries aggravent les choses. Un client qui attend et relance à chaque 429 martèle inutilement un plafond de dépenses. Distinguez les deux cas.
- Plafonds partagés. Un plafond au niveau du compte partagé par plusieurs apps permet à un job emballé de bloquer tous les autres. Des budgets par projet, ou votre propre budget dans le code, les gardent séparés.
Sur BroadNet Inference
La référence de l’API BroadNet liste six limites pour une clé en paiement à l’usage. Les trois qui bornent le coût et le débit sont 30 requêtes par minute, 4 requêtes en cours, et les dépenses, définies comme « the native budget shared by the account’s pay-as-you-go keys » (traduction : « le budget natif partagé par les clés à l’usage du compte ») ; les autres sont les modèles autorisés, une durée de vie d’un an par clé et jusqu’à dix clés actives par compte. Le compte est prépayé : le solde constitue donc le plafond extérieur. Deux codes de statut comptent :
- 429 : « A rate, concurrency, token-rate or spending limit was reached. » (traduction : « Une limite de débit, de concurrence, de débit de tokens ou de dépenses a été atteinte. »)
- 401 : une clé absente, invalide ou expirée, ou un compte dont le budget partagé de paiement à l’usage est bloqué (la documentation parle de « a blocked native PAYG budget holder », traduction : « un titulaire de budget PAYG natif bloqué »), « including exhausted PAYG allowance » (traduction : « y compris une allocation PAYG épuisée »).
La page de confidentialité de BroadNet indique que les clés sont limitées par modèle, débit et dépenses, mais la référence de l’API ne montre aucun réglage de budget par clé ou par projet : placez donc une vérification de budget courante dans votre propre code avant chaque requête, comme dans contrôler les dépenses d’une API LLM. Pour un pire cas fixe, un forfait ou une clé horaire à $0.50 plafonne les dépenses par construction. La gestion des retries est décrite dans le guide des erreurs et retries.