BroadRouter
Loslegen

Ausgabenlimit (Spend Limit)

Aktualisiert

Ein Ausgabenlimit (Spend Limit) ist eine Obergrenze dafür, wie viel ein API-Konto, Projekt oder Schlüssel in einem Zeitraum ausgeben darf, meist pro Monat. Ist sie erreicht, lehnt der Anbieter weitere Anfragen ab, oft mit HTTP 429 oder 400, bis der Zeitraum neu beginnt oder das Limit erhöht wird.

Auch genannt: Ausgabenlimit, Ausgabenobergrenze, Kostenlimit, Budgetlimit, Nutzungslimit, Spend Limit, spend limit, spending limit, spend cap, budget cap, usage cap

Ein Rate Limit steuert, wie schnell Sie ausgeben können. Ein Ausgabenlimit steuert, wie viel.

So funktioniert es

Anbieter schichten mehrere Obergrenzen übereinander. Zwei dokumentierte Beispiele:

Anbieter Steuerung Was beim Erreichen passiert
Anthropic Tier-Ausgabenlimit pro Kalendermonat (Start, Build, Scale; Custom hat keins) Nutzung pausiert bis 00:00 UTC am Ersten des Folgemonats; HTTP 429 rate_limit_error mit error.details.error_code enforced_spend_limit_reached, kein retry-after
Anthropic Ihr eigenes, niedrigeres Limit, für Organisation oder Workspace HTTP 400 invalid_request_error, Meldung beginnt mit „You have reached your specified API usage limits“
OpenAI Monatliches Nutzungslimit pro Tier Im Leitfaden nicht beschrieben
OpenAI Ausgabenwarnung Sendet eine Benachrichtigung; der Traffic läuft weiter
OpenAI Hartes Ausgabenlimit, für Organisation oder Projekt Betroffene Anfragen geben 429 zurück

Die Tier-Limits von Anthropic liegen bei 500 USD (Start), 1.000 USD (Build) und 200.000 USD (Scale) pro Monat. Der Leitfaden von OpenAI listet monatliche Nutzungslimits nach Tier, von 100 USD bei Free bis 200.000 USD bei Grow, und sagt, dass Tiers steigen, sobald die Summe der Guthabenkäufe Schwellenwerte überschreitet.

Knifflig ist, dass eine 429 wegen Ausgabenlimit genauso aussieht wie eine 429 wegen Rate Limit. In der API von Anthropic unterscheidet der Fehlercode die beiden, und die Antwort beim Ausgabenlimit hat keinen retry-after-Header:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Warum es wichtig ist

  • Warnungen kommen zu spät. Eine schnelle Schleife kann viel ausgeben, bevor eine E-Mail ankommt. Eine harte Obergrenze stoppt sie.
  • Retries machen es schlimmer. Ein Client, der bei jeder 429 wartet und es erneut versucht, hämmert sinnlos gegen ein Ausgabenlimit. Unterscheiden Sie die beiden Fälle.
  • Geteilte Obergrenzen. Ein kontoweites Limit, das sich viele Apps teilen, lässt einen außer Kontrolle geratenen Job alle anderen blockieren. Budgets pro Projekt oder ein eigenes Budget im Code halten sie getrennt.

Bei BroadNet Inference

Die API-Referenz von BroadNet nennt sechs Limits für einen Pay-as-you-go-Schlüssel. Die drei, die Kosten und Durchsatz begrenzen, sind 30 Anfragen pro Minute, 4 gleichzeitig laufende Anfragen und die Ausgaben, definiert als „the native budget shared by the account’s pay-as-you-go keys“ (Übersetzung: „das native Budget, das sich die Pay-as-you-go-Schlüssel des Kontos teilen“); die übrigen sind die erlaubten Modelle, eine Schlüssel-Laufzeit von einem Jahr und bis zu zehn aktive Schlüssel pro Konto. Das Konto ist prepaid, das Guthaben ist also die äußere Obergrenze. Zwei Statuscodes sind wichtig:

  • 429: „A rate, concurrency, token-rate or spending limit was reached.“ (Übersetzung: „Ein Limit für Rate, Concurrency, Token-Rate oder Ausgaben wurde erreicht.“)
  • 401: ein fehlender, ungültiger oder abgelaufener Schlüssel oder ein Konto, dessen geteiltes Pay-as-you-go-Budget gesperrt ist (in der Dokumentation „a blocked native PAYG budget holder“, Übersetzung: „ein gesperrter nativer PAYG-Budgetinhaber“), „including exhausted PAYG allowance“ (Übersetzung: „einschließlich aufgebrauchtem PAYG-Kontingent“).

Laut Datenschutzseite von BroadNet sind Schlüssel nach Modell, Rate und Ausgaben begrenzt, die API-Referenz zeigt aber keine Budgeteinstellung pro Schlüssel oder Projekt. Bauen Sie deshalb vor jeder Anfrage eine laufende Budgetprüfung in Ihren eigenen Code ein, wie in Ausgabenkontrolle für LLM-APIs. Für einen festen Worst Case begrenzen ein Flatrate-Plan oder ein Stundenschlüssel zu $0.50 die Ausgaben von vornherein. Den Umgang mit Retries beschreibt die Anleitung zu Fehlern und Retries.

Häufige Fragen

Sollte ich eine Anfrage wiederholen, die ein Ausgabenlimit erreicht hat?

Nein. Laut Anthropic hat die 429 bei erreichtem Ausgabenlimit keinen retry-after-Header, und Retries schlagen fehl, bis der Zugang wieder freigegeben ist. Alarmieren Sie einen Menschen oder stoppen Sie den Job.

Ist eine Ausgabenwarnung dasselbe wie ein Ausgabenlimit?

Nein. OpenAI unterscheidet eine Ausgabenwarnung, die nur benachrichtigt und den Traffic weiterlaufen lässt, von einem harten Ausgabenlimit, bei dem Anfragen 429 zurückgeben.

Kann ich bei BroadNet ein eigenes Budget pro Schlüssel festlegen?

Laut Datenschutzseite von BroadNet steuern begrenzte API-Schlüssel den Zugriff nach Modell, Rate und Ausgaben. Die API-Referenz dokumentiert die Ausgaben eines Pay-as-you-go-Schlüssels aber als natives Budget, das sich die Schlüssel des Kontos teilen, und zeigt keine Budgeteinstellung pro Schlüssel. Prüfen Sie Ihre Schlüsseldetails und setzen Sie Budgets pro App in Ihrem eigenen Code durch.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen