BroadRouter
始める

レート制限(rate limit)

更新日

レート制限とは、1 分あたりのリクエスト数やトークン数など、一定時間内にクライアントが API を使える量に API 側が設ける上限です。上限を超えたリクエストは、使用量が下回るまで通常 HTTP 429 Too Many Requests で拒否されます。

別名: レート制限、レートリミット、リクエスト制限、流量制限、スロットリング、rate limit、RPM、TPM、requests per minute、tokens per minute、HTTP 429、throttling

共有される API はすべて、制限によって自らを守っています。どの制限が適用されるかを知れば、どこまで速く送れるか、上限に達したときに何をすべきかがわかります。

しくみ

LLM API は複数の指標を同時に測ります。たとえば OpenAI は次のものを挙げています。

  • RPM: 1 分あたりのリクエスト数
  • RPD: 1 日あたりのリクエスト数
  • TPM: 1 分あたりのトークン数
  • TPD: 1 日あたりのトークン数

最初に達した制限が適用されます。多くのプロバイダーは、処理中のリクエスト数である同時実行数にも上限を設けています。

制限を超えると、サーバーは 429 Too Many Requests を返します。MDN はこれを、クライアントが「sent too many requests in a given amount of time.」(訳:一定時間内に送ったリクエストが多すぎる)状態と説明しています。Retry-After ヘッダーで、待つべき秒数が示されることもあります。

安全な再試行ループの例です。

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

OpenAI の公式 SDK は、すでに 429 と 5xx エラーをバックオフ付きで再試行します。独自のループを書く代わりに max_retries を設定してください。

なぜ重要か

  • スループット。 実際の上限は、すべての制限のうち最も低いものです。BroadNet の従量課金のキーのように 1 分あたり 30 リクエストに制限されたキーでは、モデルがどれほど速くても、1,000 リクエストに少なくとも 1,000 ÷ 30 分かかります。ご自身の制限での計算はレート制限計算ツールでできます。
  • 信頼性。 処理されない 429 は障害のように見えます。バックオフを使えば、短い遅延で済みます。
  • コスト。 利用上限にも 429 を返すプロバイダーがあり、従量課金のキーでよく見られます。再試行の前にエラーの本文を読んでください。

BroadNet Inference の場合

キーの種類 制限
従量課金 1 分あたり 30 リクエスト、同時に 4 リクエストまで
時間制キー 1 分あたり 120 リクエスト、1 ストリーム、1 分あたり 300,000 トークン
無制限プラン 1 セッションにつき同時に 1 リクエスト、トークンメーターなし

BroadNet は、レート、同時実行数、トークンレート、利用額のいずれかの上限に達すると 429 を返します。バックオフしてから再試行してください。すべてのステータスコードはエラーと再試行のガイドで扱っています。定額プランにも残る制限については、「無制限」の本当の意味で説明しています。

よくある間違い

  • 401 や 403 のエラーを再試行すること。これはキーやポリシーの問題で、レート制限ではありません。
  • 共有のリミッターなしで、1 つのキーに多数のワーカーを走らせること。各ワーカーが個別にバックオフしても、ほかのワーカーがキーを飽和させ続けます。

よくある質問

429 エラーは再試行すべきですか?

はい。待ってから再試行してください。Retry-After ヘッダーがあればそれに従い、なければランダムなジッター付きの指数バックオフを使い、試行回数に上限を設けてください。同じステータスコードを返す利用上限エラーや請求エラーは再試行しないでください。

失敗したリクエストも制限に数えられますか?

多くの場合、数えられます。OpenAI のガイドには、失敗したリクエストも 1 分あたりの制限に数えられるとあります。そのため、ループで即座に再試行すると状況が悪化します。

レート制限と同時実行数の制限の違いは何ですか?

レート制限は、一定時間内のリクエスト数やトークン数を数えます。同時実行数の制限は、同じ瞬間に処理中のリクエスト数を数えます。キーはどちらに先に達することもあります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く