공유 API는 모두 한도를 두어 스스로를 보호합니다. 어떤 한도가 적용되는지 알면 얼마나 빠르게 보낼 수 있는지, 한도에 걸렸을 때 무엇을 해야 하는지 알 수 있습니다.
작동 방식
LLM API는 여러 항목을 동시에 측정합니다. 예를 들어 OpenAI는 다음을 나열합니다.
- RPM: 분당 요청 수
- RPD: 일당 요청 수
- TPM: 분당 토큰 수
- TPD: 일당 토큰 수
먼저 도달한 한도가 적용됩니다. 많은 제공업체는 처리 중인 요청 수, 즉 동시 처리에도 상한을 둡니다.
한도를 넘으면 서버는 429 Too Many Requests를 반환합니다. MDN은 이를 클라이언트가 “sent too many requests in a given amount of time”(번역: 주어진 시간 동안 너무 많은 요청을 보냈음)인 상태로 설명합니다. Retry-After 헤더가 몇 초를 기다려야 하는지 알려 줄 수도 있습니다.
안전한 재시도 루프는 다음과 같습니다.
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
공식 OpenAI SDK는 이미 429와 5xx 오류를 백오프로 재시도합니다. 직접 루프를 작성하는 대신 max_retries를 설정하세요.
왜 중요한가
- 처리량. 실제 상한은 모든 한도 중 가장 낮은 값입니다. BroadNet 종량제 키처럼 분당 요청 수가 30 요청으로 제한된 키라면, 모델이 아무리 빨라도 요청 1,000개에 최소 (1,000 ÷ 30)분이 걸립니다. 속도 제한 계산기로 내 한도에 맞춰 계산해 볼 수 있습니다.
- 안정성. 처리하지 않은 429 오류는 장애처럼 보입니다. 백오프를 쓰면 짧은 지연으로 바뀝니다.
- 비용. 일부 제공업체는 지출 한도에 걸렸을 때도 429를 반환하며, 종량제 키에서 흔합니다. 재시도하기 전에 오류 본문을 읽으세요.
BroadNet Inference에서는
| 키 종류 | 한도 |
|---|---|
| 종량제 | 분당 요청 30, 동시 처리 4 |
| 시간제 키 | 분당 요청 120, 스트림 1개, 분당 토큰 300,000 |
| 무제한 플랜 | 세션당 한 번에 요청 1개, 토큰 미터 없음 |
BroadNet은 속도, 동시 처리, 토큰 속도 또는 지출 한도에 도달하면 429를 반환합니다. 백오프 후 재시도하세요. 오류와 재시도 가이드에서 모든 상태 코드를 다루며, “무제한”의 실제 의미에서는 정액 플랜에도 어떤 한도가 남아 있는지 설명합니다.
흔한 실수
- 401이나 403 오류를 재시도하는 것. 이는 속도 제한이 아니라 키나 정책 문제입니다.
- 공유 리미터 없이 키 하나로 워커를 여러 개 돌리는 것. 각 워커가 따로 백오프하는 동안 나머지 워커가 키를 계속 포화 상태로 만듭니다.