BroadRouter
始める

同時実行数(concurrency)

更新日

同時実行数(concurrency)とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。

別名: 同時実行、同時リクエスト数、並列リクエスト、同時実行数の上限、並列数、concurrent requests、parallel requests、in-flight requests、concurrency limit

レート制限は一定時間内のリクエストを数えます。同時実行数は、ある瞬間のリクエストを数えます。LLM のリクエストは何秒もかかることがあるので、先に効いてくるのは後者であることが多いのです。

しくみ

リトルの法則(Little’s law)は、3 つの数字を結び付けます。

requests in flight = request rate × average time per request

(つまり、処理中のリクエスト数 = リクエストレート × 1 リクエストあたりの平均所要時間。)

仮に、同時実行 5 リクエスト、毎分 60 リクエストまで許可されたキーがあり、各リクエストに 20 秒かかるとします。同時実行の上限で許されるのは最大で 5 ÷ 20 = 毎秒 0.25 リクエスト、つまり毎分 15 リクエストです。拘束条件になっているのは同時実行数なので、毎分 60 には決して届きません。リクエストが 2 秒で終わるなら、同じ上限で毎分 150 リクエストまで許され、今度はレート制限のほうが拘束条件になります。レート制限計算ツールで、ご自身の数字でこの計算ができます。

長い出力、推論トークン、長いプロンプトはどれもリクエストの所要時間を延ばすので、同時実行の枠を早く使い切ります。ストリーミングの応答は、終わるまで枠を占有し続けます。

なぜ重要か

プロバイダーが同時実行数を制限するのは、GPU のメモリと計算資源が共有されているからです。NVIDIA のベンチマークでは、サーバー上の同時実行数が増えると全体の出力量は上がる一方、各リクエストのトークン毎秒は下がります。キーごとの上限は、1 つのクライアントが全員の速度を落とすのを防ぎます。

アプリにとって、同時実行数はワーカープールの大きさと、並べて動かせるエージェントの数を決めます。プールは上限に合わせ、それを超えないようにしてください。超えた分のワーカーは 429 エラーを集めるだけです。

BroadNet Inference の場合

アクセス方法 同時実行数
従量課金キー 同時実行 4 リクエスト、加えて毎分 30 リクエスト
時間制キー 1 ストリーム
無制限プラン セッションごとに同時に 1 リクエスト

プランは同時実行数をそのまま販売しています。セッションにはトークンのメーターがなく、1 つのエージェントの動き方と同じく、同時に 1 リクエストを処理します。同じセッション内のリクエストは順番待ちになります。エージェントを並列で動かすには、エージェントごとに 1 セッションを購入します。オーケストレーターと 3 つのサブエージェントなら 4 セッションです。1 つのキーで複数のセッションを持てます。

無制限セッションのしくみと定額プランでコーディングエージェントを並列実行する方法をお読みください。エージェントは多くの時間をツールの実行に費やすので、セッションを買い足す前に、実際にどれだけ重なっているかを測ってください。

よくある間違い

  • プールを使わずにタスクごとにワーカーを起動すること。100 件のタスクのバッチが、同時に 100 件のリクエストになります。
  • クライアントのタイムアウトを、長い推論応答より短く設定すること。枠は埋まったままなのに、クライアントだけが諦めてしまいます。

よくある質問

同時実行数の上限を超えるとどうなりますか?

プロバイダーによって異なります。超過したリクエストは拒否される(多くは 429)か、枠が空くまでキューで待たされます。

ストリーミングも同時実行の枠を使いますか?

はい。ストリーミング応答は最後のチャンクが届くまで枠を占有するので、出力が長いほど枠が長く埋まります。

AI コーディングエージェントにはどれだけの同時実行数が必要ですか?

1 つのエージェントなら通常は 1 つです。各応答を待ってから次のステップに進むからです。3 つのサブエージェントを同時に動かすオーケストレーターなら最大 4 つ必要です。サブエージェントの実行中にオーケストレーターもリクエストを送るなら 4 つ、待つなら 3 つです。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く