共有される API はすべて、制限によって自らを守っています。どの制限が適用されるかを知れば、どこまで速く送れるか、上限に達したときに何をすべきかがわかります。
しくみ
LLM API は複数の指標を同時に測ります。たとえば OpenAI は次のものを挙げています。
- RPM: 1 分あたりのリクエスト数
- RPD: 1 日あたりのリクエスト数
- TPM: 1 分あたりのトークン数
- TPD: 1 日あたりのトークン数
最初に達した制限が適用されます。多くのプロバイダーは、処理中のリクエスト数である同時実行数にも上限を設けています。
制限を超えると、サーバーは 429 Too Many Requests を返します。MDN はこれを、クライアントが「sent too many requests in a given amount of time.」(訳:一定時間内に送ったリクエストが多すぎる)状態と説明しています。Retry-After ヘッダーで、待つべき秒数が示されることもあります。
安全な再試行ループの例です。
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
OpenAI の公式 SDK は、すでに 429 と 5xx エラーをバックオフ付きで再試行します。独自のループを書く代わりに max_retries を設定してください。
なぜ重要か
- スループット。 実際の上限は、すべての制限のうち最も低いものです。BroadNet の従量課金のキーのように 1 分あたり 30 リクエストに制限されたキーでは、モデルがどれほど速くても、1,000 リクエストに少なくとも 1,000 ÷ 30 分かかります。ご自身の制限での計算はレート制限計算ツールでできます。
- 信頼性。 処理されない 429 は障害のように見えます。バックオフを使えば、短い遅延で済みます。
- コスト。 利用上限にも 429 を返すプロバイダーがあり、従量課金のキーでよく見られます。再試行の前にエラーの本文を読んでください。
BroadNet Inference の場合
| キーの種類 | 制限 |
|---|---|
| 従量課金 | 1 分あたり 30 リクエスト、同時に 4 リクエストまで |
| 時間制キー | 1 分あたり 120 リクエスト、1 ストリーム、1 分あたり 300,000 トークン |
| 無制限プラン | 1 セッションにつき同時に 1 リクエスト、トークンメーターなし |
BroadNet は、レート、同時実行数、トークンレート、利用額のいずれかの上限に達すると 429 を返します。バックオフしてから再試行してください。すべてのステータスコードはエラーと再試行のガイドで扱っています。定額プランにも残る制限については、「無制限」の本当の意味で説明しています。
よくある間違い
- 401 や 403 のエラーを再試行すること。これはキーやポリシーの問題で、レート制限ではありません。
- 共有のリミッターなしで、1 つのキーに多数のワーカーを走らせること。各ワーカーが個別にバックオフしても、ほかのワーカーがキーを飽和させ続けます。