BroadRouter
시작하기

속도 제한(rate limit)

업데이트

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

다른 이름: 레이트 리밋, 레이트 리미트, 요청 한도, 사용량 제한, 429 오류, 스로틀링, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

공유 API는 모두 한도를 두어 스스로를 보호합니다. 어떤 한도가 적용되는지 알면 얼마나 빠르게 보낼 수 있는지, 한도에 걸렸을 때 무엇을 해야 하는지 알 수 있습니다.

작동 방식

LLM API는 여러 항목을 동시에 측정합니다. 예를 들어 OpenAI는 다음을 나열합니다.

  • RPM: 분당 요청 수
  • RPD: 일당 요청 수
  • TPM: 분당 토큰 수
  • TPD: 일당 토큰 수

먼저 도달한 한도가 적용됩니다. 많은 제공업체는 처리 중인 요청 수, 즉 동시 처리에도 상한을 둡니다.

한도를 넘으면 서버는 429 Too Many Requests를 반환합니다. MDN은 이를 클라이언트가 “sent too many requests in a given amount of time”(번역: 주어진 시간 동안 너무 많은 요청을 보냈음)인 상태로 설명합니다. Retry-After 헤더가 몇 초를 기다려야 하는지 알려 줄 수도 있습니다.

안전한 재시도 루프는 다음과 같습니다.

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

공식 OpenAI SDK는 이미 429와 5xx 오류를 백오프로 재시도합니다. 직접 루프를 작성하는 대신 max_retries를 설정하세요.

왜 중요한가

  • 처리량. 실제 상한은 모든 한도 중 가장 낮은 값입니다. BroadNet 종량제 키처럼 분당 요청 수가 30 요청으로 제한된 키라면, 모델이 아무리 빨라도 요청 1,000개에 최소 (1,000 ÷ 30)분이 걸립니다. 속도 제한 계산기로 내 한도에 맞춰 계산해 볼 수 있습니다.
  • 안정성. 처리하지 않은 429 오류는 장애처럼 보입니다. 백오프를 쓰면 짧은 지연으로 바뀝니다.
  • 비용. 일부 제공업체는 지출 한도에 걸렸을 때도 429를 반환하며, 종량제 키에서 흔합니다. 재시도하기 전에 오류 본문을 읽으세요.

BroadNet Inference에서는

키 종류 한도
종량제 분당 요청 30, 동시 처리 4
시간제 키 분당 요청 120, 스트림 1개, 분당 토큰 300,000
무제한 플랜 세션당 한 번에 요청 1개, 토큰 미터 없음

BroadNet은 속도, 동시 처리, 토큰 속도 또는 지출 한도에 도달하면 429를 반환합니다. 백오프 후 재시도하세요. 오류와 재시도 가이드에서 모든 상태 코드를 다루며, “무제한”의 실제 의미에서는 정액 플랜에도 어떤 한도가 남아 있는지 설명합니다.

흔한 실수

  • 401이나 403 오류를 재시도하는 것. 이는 속도 제한이 아니라 키나 정책 문제입니다.
  • 공유 리미터 없이 키 하나로 워커를 여러 개 돌리는 것. 각 워커가 따로 백오프하는 동안 나머지 워커가 키를 계속 포화 상태로 만듭니다.

자주 묻는 질문

429 오류가 나면 재시도해야 하나요?

네, 잠시 기다린 뒤에 재시도하세요. Retry-After 헤더가 있으면 그 값을 따르고, 없으면 무작위 지터(jitter)를 더한 지수 백오프를 쓰되 시도 횟수에 상한을 두세요. 같은 상태 코드를 쓰는 지출 한도 오류나 결제 오류는 재시도하지 마세요.

실패한 요청도 한도에 포함되나요?

대개 그렇습니다. OpenAI 가이드에 따르면 실패한 요청도 분당 한도에 포함되므로, 루프에서 즉시 재시도하면 상황이 더 나빠집니다.

속도 제한과 동시 처리 한도는 어떻게 다른가요?

속도 제한은 일정 시간 동안의 요청 수나 토큰 수를 셉니다. 동시 처리 한도는 같은 순간에 실행 중인 요청 수를 셉니다. 키에 따라 둘 중 어느 쪽에 먼저 걸릴지는 다릅니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기