BroadRouter
시작하기

동시 처리(concurrency)

업데이트

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

다른 이름: 동시 요청, 동시 요청 수, 병렬 요청, 동시 처리 한도, 동시성, concurrent requests, parallel requests, in-flight requests, concurrency limit

속도 제한은 일정 시간 동안의 요청 수를 셉니다. 동시 처리는 한순간의 요청 수를 셉니다. LLM 요청은 수 초씩 걸릴 수 있어서, 두 번째 한도에 먼저 걸리는 경우가 많습니다.

작동 방식

리틀의 법칙은 세 숫자를 연결합니다.

requests in flight = request rate × average time per request

즉 진행 중인 요청 수는 요청 속도에 요청당 평균 소요 시간을 곱한 값입니다.

진행 중인 요청 5개와 분당 요청 60개를 허용하고, 요청 하나가 20초 걸리는 가상의 키를 생각해 봅시다. 동시 처리 한도 때문에 초당 최대 5 ÷ 20 = 0.25개, 즉 분당 15개까지만 가능합니다. 동시 처리가 실제 제약이 되므로 분당 60개에는 절대 도달하지 못합니다. 요청이 2초씩 걸린다면 같은 한도로 분당 150개가 가능하고, 이번에는 속도 제한이 제약이 됩니다. 속도 제한 계산기로 직접 숫자를 넣어 계산해 볼 수 있습니다.

긴 출력, 추론 토큰, 긴 프롬프트는 모두 요청 시간을 늘리므로 동시 처리 한도를 더 빨리 소진합니다. 스트리밍 응답은 끝날 때까지 슬롯을 차지합니다.

왜 중요한가

제공업체가 동시 처리를 제한하는 이유는 GPU 메모리와 연산을 함께 쓰기 때문입니다. NVIDIA 벤치마크에 따르면 서버의 동시 요청이 늘수록 전체 출력량은 늘지만 요청 하나의 초당 토큰 수는 줄어듭니다. 키별 한도는 한 클라이언트가 모두를 느리게 만드는 것을 막습니다.

애플리케이션 입장에서 동시 처리 한도는 워커 풀의 크기와 나란히 돌릴 수 있는 에이전트 수를 정합니다. 풀 크기는 한도에 맞추고 그 이상으로 늘리지 마세요. 초과한 워커는 429 오류만 받게 됩니다.

BroadNet Inference에서는

접근 방식 동시 처리
종량제 키 진행 중인 요청 최대 4 건, 그리고 분당 요청 30 건
시간제 키 스트림 1개
무제한 플랜 세션당 한 번에 요청 1개

플랜은 동시 처리를 직접 판매합니다. 세션에는 토큰 미터가 없고, 에이전트 하나가 일하는 방식처럼 한 번에 요청 하나를 처리합니다. 같은 세션의 요청은 앞 요청 뒤에 줄을 섭니다. 에이전트를 병렬로 돌리려면 에이전트마다 세션을 하나씩 구매하세요. 오케스트레이터와 서브에이전트 세 개라면 세션 4개가 필요합니다. 키 하나에 세션 여러 개를 담을 수 있습니다.

무제한 세션의 작동 방식과 정액제로 코딩 에이전트를 병렬 실행하는 방법을 읽어 보세요. 에이전트는 도구 실행에 많은 시간을 쓰므로, 세션을 더 사기 전에 실제로 얼마나 겹치는지 측정하세요.

흔한 실수

  • 풀 없이 작업마다 워커를 하나씩 띄우는 것. 작업 100개짜리 배치가 한꺼번에 요청 100개가 됩니다.
  • 긴 추론 응답보다 짧은 클라이언트 타임아웃을 설정하는 것. 슬롯은 여전히 사용 중인데 클라이언트가 먼저 포기합니다.

자주 묻는 질문

동시 처리 한도를 넘으면 어떻게 되나요?

제공업체에 따라 초과 요청이 거부되거나(흔히 429), 슬롯이 빌 때까지 대기열에서 기다립니다.

스트리밍도 동시 처리 슬롯을 쓰나요?

네. 스트리밍 응답은 마지막 청크가 도착할 때까지 슬롯을 차지하므로, 출력이 길수록 슬롯을 더 오래 점유합니다.

AI 코딩 에이전트에는 동시 요청이 몇 개 필요한가요?

에이전트 하나는 보통 1개면 됩니다. 다음 단계로 가기 전에 응답을 기다리기 때문입니다. 오케스트레이터가 서브에이전트 세 개를 동시에 돌리면 최대 4개가 필요합니다. 서브에이전트가 실행되는 동안 오케스트레이터도 요청을 보내면 4개, 기다리기만 하면 3개입니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기