レート制限はどれだけ速く使えるかを、支出上限はどれだけ使えるかを制御します。
仕組み
プロバイダーは複数の上限を重ねています。ドキュメントで確認できる例を 2 つ挙げます。
| プロバイダー | 制御 | 上限に達すると |
|---|---|---|
| Anthropic | ティアごとの暦月の支出上限(Start、Build、Scale。Custom にはなし) | 翌月 1 日 00:00 UTC まで利用停止。HTTP 429 rate_limit_error、error.details.error_code は enforced_spend_limit_reached、retry-after なし |
| Anthropic | 組織またはワークスペースに自分で設定する低めの上限 | HTTP 400 invalid_request_error、メッセージは “You have reached your specified API usage limits” で始まる |
| OpenAI | ティアごとの月間利用上限 | ガイドに記載なし |
| OpenAI | 支出アラート | 通知を送る。トラフィックは継続 |
| OpenAI | 組織またはプロジェクトのハードな支出上限 | 対象のリクエストが 429 を返す |
Anthropic のティア上限は月 500 米ドル(Start)、1,000 米ドル(Build)、200,000 米ドル(Scale)です。OpenAI のガイドはティアごとの月間利用上限を Free の 100 米ドルから Grow の 200,000 米ドルまで挙げ、クレジット購入の累計額がしきい値を超えるとティアが上がるとしています。
厄介なのは、支出上限の 429 がレート制限の 429 と同じに見えることです。Anthropic の API ではエラーコードで区別でき、支出上限のレスポンスには retry-after ヘッダーがありません。
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
なぜ重要か
- アラートは遅れて届く。 高速なループは、メールが届く前に大きな金額を使ってしまいます。ハードな上限なら止められます。
- リトライは事態を悪化させる。 あらゆる 429 でバックオフしてリトライするクライアントは、支出上限に無駄にぶつかり続けます。2 つを区別してください。
- 共有の上限。 多くのアプリで共有するアカウント単位の上限では、1 つの暴走したジョブがほかを止めてしまいます。プロジェクトごとの予算か、コード内の独自の予算で分けておけます。
BroadNet Inference の場合
BroadNet の API リファレンスは、従量課金キーの上限を 6 つ挙げています。コストとスループットを抑える 3 つは、毎分 30 リクエスト、同時実行 4、そして支出で、支出は “the native budget shared by the account’s pay-as-you-go keys”(訳:アカウントの従量課金キーで共有するネイティブ予算)と定義されています。残りは利用できるモデル、1 年のキー有効期間、アカウントあたり最大 10 本の有効なキーです。アカウントはプリペイドなので、残高がいちばん外側の上限になります。重要なステータスコードは 2 つです。
- 429:“A rate, concurrency, token-rate or spending limit was reached.”(訳:レート、同時実行、トークンレート、または支出の上限に達しました。)
- 401:キーがない、無効、または期限切れ、あるいは共有の従量課金予算がブロックされているアカウントの場合(ドキュメントの文言は “a blocked native PAYG budget holder”(訳:ネイティブの PAYG 予算の保有者がブロックされている))で、“including exhausted PAYG allowance”(訳:PAYG の利用枠を使い切った場合を含む)。
BroadNet のプライバシーページはキーをモデル、レート、支出でスコープできるとしていますが、API リファレンスにはキー単位やプロジェクト単位の予算設定がありません。そのため、LLM API の支出管理のように、リクエストのたびに自分のコードで累計予算をチェックしてください。最悪の場合の金額を固定したいなら、定額プランか $0.50 の時間制キーが、仕組みとして支出に上限を設けます。リトライの扱いはエラーとリトライのガイドにあります。