BroadRouter
始める

支出上限(spend limit)

更新日

支出上限とは、API のアカウント、プロジェクト、キーが一定期間(通常は 1 か月)に使える金額の上限です。利用額が達すると、プロバイダーは期間がリセットされるか上限が引き上げられるまで、以降のリクエストを HTTP 429 や 400 などのエラーで拒否します。

別名: 利用上限、使用量上限、予算上限、支出制限、利用額上限、予算アラート、spend limit、spending limit、spend cap、budget cap、usage cap

レート制限はどれだけ速く使えるかを、支出上限はどれだけ使えるかを制御します。

仕組み

プロバイダーは複数の上限を重ねています。ドキュメントで確認できる例を 2 つ挙げます。

プロバイダー 制御 上限に達すると
Anthropic ティアごとの暦月の支出上限(Start、Build、Scale。Custom にはなし) 翌月 1 日 00:00 UTC まで利用停止。HTTP 429 rate_limit_error、error.details.error_code は enforced_spend_limit_reached、retry-after なし
Anthropic 組織またはワークスペースに自分で設定する低めの上限 HTTP 400 invalid_request_error、メッセージは “You have reached your specified API usage limits” で始まる
OpenAI ティアごとの月間利用上限 ガイドに記載なし
OpenAI 支出アラート 通知を送る。トラフィックは継続
OpenAI 組織またはプロジェクトのハードな支出上限 対象のリクエストが 429 を返す

Anthropic のティア上限は月 500 米ドル(Start)、1,000 米ドル(Build)、200,000 米ドル(Scale)です。OpenAI のガイドはティアごとの月間利用上限を Free の 100 米ドルから Grow の 200,000 米ドルまで挙げ、クレジット購入の累計額がしきい値を超えるとティアが上がるとしています。

厄介なのは、支出上限の 429 がレート制限の 429 と同じに見えることです。Anthropic の API ではエラーコードで区別でき、支出上限のレスポンスには retry-after ヘッダーがありません。

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

なぜ重要か

  • アラートは遅れて届く。 高速なループは、メールが届く前に大きな金額を使ってしまいます。ハードな上限なら止められます。
  • リトライは事態を悪化させる。 あらゆる 429 でバックオフしてリトライするクライアントは、支出上限に無駄にぶつかり続けます。2 つを区別してください。
  • 共有の上限。 多くのアプリで共有するアカウント単位の上限では、1 つの暴走したジョブがほかを止めてしまいます。プロジェクトごとの予算か、コード内の独自の予算で分けておけます。

BroadNet Inference の場合

BroadNet の API リファレンスは、従量課金キーの上限を 6 つ挙げています。コストとスループットを抑える 3 つは、毎分 30 リクエスト、同時実行 4、そして支出で、支出は “the native budget shared by the account’s pay-as-you-go keys”(訳:アカウントの従量課金キーで共有するネイティブ予算)と定義されています。残りは利用できるモデル、1 年のキー有効期間、アカウントあたり最大 10 本の有効なキーです。アカウントはプリペイドなので、残高がいちばん外側の上限になります。重要なステータスコードは 2 つです。

  • 429:“A rate, concurrency, token-rate or spending limit was reached.”(訳:レート、同時実行、トークンレート、または支出の上限に達しました。)
  • 401:キーがない、無効、または期限切れ、あるいは共有の従量課金予算がブロックされているアカウントの場合(ドキュメントの文言は “a blocked native PAYG budget holder”(訳:ネイティブの PAYG 予算の保有者がブロックされている))で、“including exhausted PAYG allowance”(訳:PAYG の利用枠を使い切った場合を含む)。

BroadNet のプライバシーページはキーをモデル、レート、支出でスコープできるとしていますが、API リファレンスにはキー単位やプロジェクト単位の予算設定がありません。そのため、LLM API の支出管理のように、リクエストのたびに自分のコードで累計予算をチェックしてください。最悪の場合の金額を固定したいなら、定額プランか $0.50 の時間制キーが、仕組みとして支出に上限を設けます。リトライの扱いはエラーとリトライのガイドにあります。

よくある質問

支出上限に達したリクエストはリトライすべきですか?

いいえ。Anthropic によると、支出上限による 429 には retry-after ヘッダーがなく、アクセスが再開されるまでリトライは失敗します。担当者に通知するか、ジョブを止めてください。

支出アラートと支出上限は同じものですか?

違います。OpenAI は、通知するだけでトラフィックは続く支出アラートと、リクエストが 429 を返すようになるハードな支出上限を区別しています。

BroadNet のキーごとに別の予算を設定できますか?

BroadNet のプライバシーページは、スコープ付きの API キーでモデル、レート、支出ごとにアクセスを制御できるとしていますが、API リファレンスでは従量課金キーの支出をアカウントのキーで共有するネイティブ予算と定義しており、キーごとの予算設定は示していません。キーの詳細を確認し、アプリごとの予算は自分のコードで管理してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く