“LLM API 속도 제한”을 검색하면 서로 맞지 않는 블로그 표가 나오는데, 오래된 숫자를 베껴 온 경우가 많기 때문입니다. 이 글은 모든 수치를 2026년 11월 15일에 각 제공업체의 공식 문서에서 직접 확인했고, 어떤 등급과 모델에 해당하는지 밝혔으며, 제공업체가 공개하지 않은 값은 빈칸으로 두었습니다. 무료 크레딧과 데이터 사용 조건까지 담은 같은 데이터를 내려받을 수 있는 데이터셋으로 보려면 LLM API 무료 티어와 속도 제한을 참고하세요. BroadRouter는 BroadNet이 운영하는 사이트이며, BroadNet의 한도도 표에 함께 넣었습니다.
RPM, TPM, RPD, 동시 요청은 무슨 뜻인가요?
속도 제한은 일정 시간 동안 보낼 수 있는 양에 상한을 둡니다. 제공업체마다 세는 대상이 다릅니다.
| 한도 | 세는 대상 | 가장 문제가 되는 경우 |
|---|---|---|
| RPM, 분당 요청 | 1분 동안 시작한 요청 | 짧은 호출을 많이 보낼 때(분류, 임베딩식 루프) |
| RPS, 초당 요청 | 같은 것을 1초 단위로 | 분 평균은 낮아도 요청을 몰아서 보낼 때 |
| TPM, 분당 토큰 | 1분 동안 처리한 토큰. 입력(ITPM)과 출력(OTPM)을 따로 세기도 함 | 긴 프롬프트나 긴 문서를 보낼 때 |
| RPD / TPD, 일일 | 하루 동안의 요청 또는 토큰 | 무료 티어에서 배치 작업을 돌릴 때 |
| 동시 요청 | 같은 순간에 처리 중인 요청 | 요청이 느릴 때: 추론, 긴 출력, 에이전트 |
어떤 한도에 걸리는지는 요청의 형태에 달려 있습니다. 동시 요청 한도에서는 처리량이 요청 길이에 따라 달라집니다. DeepInfra 문서는 평균 1초짜리 요청을 동시에 200개 처리하면 대략 12,000 RPM이 된다는 예를 듭니다. 같은 동시 요청 수에서 30초짜리 추론 요청이라면 그중 일부밖에 나오지 않습니다.
대부분의 제공업체는 공개한 것보다 더 짧은 시간 단위로도 한도를 적용합니다. Anthropic은 60 RPM 한도가 “might be enforced as 1 request per second”(번역: 초당 요청 1건으로 적용될 수 있습니다)라고 설명하고, xAI는 초당 한도를 분당 예산에서 계산합니다(“RPM / 48, with a minimum of 2”, 번역: RPM / 48, 최소 2).
사용 등급은 어떻게 작동하나요?
대형 비공개 모델 제공업체는 지출이 늘수록 한도를 올려 줍니다.
| 제공업체 | 등급(2026-11-15 확인) | 올라가는 방법 |
|---|---|---|
| OpenAI | Free, Build, Launch, Grow | Free: 허용된 지역의 사용자여야 하며, 월 사용 한도는 USD 100(크레딧이 아닌 지출 상한). 이후 누적 크레딧 구매 USD 5, USD 100, USD 500. 월 사용 한도는 각각 USD 500, USD 5,000, USD 200,000 |
| Anthropic | Evaluation, Start, Build, Scale, Custom | 사용 이력과 계정 상태에 따라 자동. 월 지출 상한: Start USD 500, Build USD 1,000, Scale USD 200,000 |
| Google Gemini API | Free, Tier 1, Tier 2, Tier 3 | Tier 1은 결제 계정 연결 필요. Tier 2는 USD 100 결제와 3일 경과, Tier 3은 USD 1,000과 30일 경과. Google은 명시된 속도 제한이 “not guaranteed”(번역: 보장되지 않음)이며 상향 요청에 대해서도 “no guarantees”(번역: 보장하지 않음)라고 밝힘 |
| Fireworks AI | Tier 1~Tier 4 | Tier 1은 결제 수단 등록, 이후 지출 또는 크레딧 USD 50, USD 500, USD 5,000. 등급이 올라가면 RPM이 아니라 TPM이 오름 |
| xAI | Tier 0~Tier 4, Enterprise | 2026년 1월 1일 이후 누적 지출: USD 0, 50, 250, 1,000, 5,000 |
실무에서는 두 가지가 중요합니다. Anthropic의 지출 상한에 도달하면 retry-after 헤더 없이 HTTP 429가 반환되므로, 자동 재시도는 월이 바뀌거나 등급이 오를 때까지 계속 실패합니다. 또 Anthropic의 입력 한도에는 캐시되지 않은 입력만 집계됩니다. 캐시 읽기는 포함되지 않으므로, 캐시 적중률이 높으면 실제 처리량이 올라갑니다.
제공업체별 LLM API 속도 제한: 첫 단계 등급
각 제공업체의 무료 등급 또는 첫 유료 등급 수치이며, 각사의 속도 제한 페이지에서 가져왔습니다. 대시(–)는 그 페이지가 해당 한도의 숫자를 공개하지 않았다는 뜻이며, 무제한이라는 뜻이 아닙니다.
| 제공업체 | 등급과 모델 | RPM | TPM | 일일 | 동시 요청 |
|---|---|---|---|---|---|
| OpenAI | Build; Astra, Sol, Terra | 5,000 | 1,000,000 | – | – |
| OpenAI | Build; Luna | 5,000 | 2,000,000 | – | – |
| Anthropic | Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 | 4,000 | 입력 2,000,000(캐시 제외), 출력 400,000 | – | – |
| Google Gemini API | Free; Gemini Decision 1(페이지에 무료 수치가 있는 유일한 모델) | 200 | 50,000 | 요청 10,000건 | – |
| Google Gemini API | Tier 1; Gemini Decision 1 | 1,500 | 1,000,000 | 요청 50,000건 | – |
| Groq | 무료 플랜 표; openai/gpt-oss-120b, qwen/qwen3.8-27b | 30 | 8,000 | 요청 1,000건, 토큰 200,000개 | – |
| Groq | Developer 플랜 표; openai/gpt-oss-120b, qwen/qwen3.8-27b | 1,000 | 250,000 | 요청 500,000건 | – |
| Cerebras | Free Trial; gpt-oss-120b | 5 | 캐시 제외 30,000(전체 90,000) | 토큰 1,000,000개 | – |
| Cerebras | Developer(종량제); gpt-oss-120b | 1,000 | 캐시 제외 500,000(전체 1,500,000) | 상한 없음 | – |
| Fireworks AI | 결제 수단과 크레딧 없음; 계정 전체 | 10 | – | – | – |
| Fireworks AI | 결제 수단과 크레딧 있음; 계정 전체 | 6,000 | 지출 등급에 따라 결정 | – | – |
| DeepInfra | 기본값; 공개 모델당 | – | – | – | 200 |
| DeepSeek | 기본값; deepseek-flash (DeepSeek-V4.1-Flash-1017), 계정당 |
– | – | – | 2,500 |
| DeepSeek | 기본값; deepseek-v4-pro (DeepSeek-V4-Pro-0813), 계정당 |
– | – | – | 500 |
| xAI | Tier 0; grok-4.7 (150 RPS) | – | 50,000,000 | – | – |
| OpenRouter | :free 모델, 구매 크레딧 USD 10 미만 | 20 | – | 요청 50건 | – |
| OpenRouter | :free 모델, 구매 크레딧 USD 10 이상 | 20 | – | 요청 1,000건 | – |
| Cohere | 체험(Trial) 키; Command A | 20 | – | 월 호출 1,000건 | – |
| Cohere | 프로덕션 키; Command A | 500 | – | – | – |
| BroadNet Inference | 종량제 키; 모든 모델 | 30 | – | – | 4 |
| BroadNet Inference | 시간제 키; Gemma 4 VL 26B | 120 | 300,000 | – | 스트림 1개 |
| BroadNet Inference | 정액 플랜 세션; DeepSeek V4.1 Flash | – | 토큰 계량 없음 | – | 한 번에 요청 1개 |
각 행에 대한 메모:
- Groq. 페이지에는 “Free Plan Limits”(기본으로 열려 있음)와 “Developer Plan Limits”라는 두 탭이 있습니다. 탭 위의 문장은 수치를 “the base limits for the Developer plan”(번역: Developer 플랜의 기본 한도)이라고 부르는데, 이는 두 번째 탭에만 맞는 설명입니다. 위 표에는 두 플랜을 모두 실었습니다. 조직별 정확한 한도는 한도 페이지에서 확인하세요.
- Google. 한도는 API 키 단위가 아니라 프로젝트 단위로 적용됩니다. 대부분 모델의 수치는 AI Studio 안에서만 볼 수 있습니다. Gemini Decision 1은 Google Decisions API용 분류 모델로, 텍스트가 아니라 확률을 반환합니다. 따라서 이 한도로 Gemini 채팅 모델의 한도를 짐작하기는 어렵습니다.
- Mistral과 Together AI는 숫자를 공개하지 않습니다. Mistral은 표를 공개하는 대신 콘솔에서 한도를 보여 주며, 무료 API 접근은 제공하지 않습니다(“It doesn’t include API access”, 번역: API 접근은 포함되지 않습니다). Together는 수요가 많을 때 “may limit requests”(번역: 요청을 제한할 수 있습니다)라고 하며, 인기 모델에는 별도 한도를 둘 수 있다고 밝힙니다.
- OpenRouter. 유료 모델 변형에는 “no platform-level request cap”(번역: 플랫폼 차원의 요청 상한 없음)이지만, 각 모델 뒤의 제공업체에는 여전히 자체 한도가 있습니다.
- DeepSeek. 붐빌 때 DeepSeek은 빈 줄이나
: keep-alive주석을 보내 연결을 유지하고, 10분 안에 추론이 시작되지 않으면 연결을 닫습니다. 클라이언트 타임아웃은 이를 고려해 설정하세요.
BroadNet의 한도는 솔직히 어느 수준인가요?
대량 작업에는 낮습니다. BroadNet 종량제 키는 분당 요청 30개, 동시 요청 4개를 허용하는 반면, OpenAI와 Anthropic의 첫 유료 등급은 분당 수천 건을, Fireworks는 카드를 등록하면 6,000 RPM을 허용합니다. 키 하나로 분당 수천 건의 짧은 요청을 보내야 한다면 대형 제공업체의 유료 등급이 더 잘 맞습니다.
다른 형태의 작업에는 이 한도가 맞습니다.
- 에이전트와 채팅. 에이전트 하나는 한 번에 요청 하나를 보내고 기다립니다. 동시 요청 4개면 키 하나로 에이전트 몇 개를 감당할 수 있고, 앱이나 팀원마다 키를 나누면 부하가 분산됩니다.
- 정액 플랜. Full Moon, Orbit, Meteor 세션에는 토큰 계량도, 일일·주간 상한도 없지만, 한 번에 요청 1개를 일반적으로 초당 약 100토큰 속도로 처리합니다. 에이전트를 병렬로 돌리려면 에이전트마다 세션을 구매하세요. 필요한 세션 수 계산하기.
- 시간제 키. 시간당 $0.50 요금으로 Gemma 4 VL 26B 스트림 하나를 분당 요청 120개, 분당 토큰 300,000개로 사용할 수 있습니다.
BroadNet의 모든 한도는 HTTP 429를 반환합니다. API 레퍼런스에는 retry-after 대기 시간이 나와 있지 않으므로, 상한을 둔 백오프와 지터를 사용하세요.
속도 제한에 맞춰 어떻게 계획하나요?
- 실제로 걸리는 한도를 찾으세요. 최대 트래픽 기준으로 분당 요청, 분당 토큰, 동시 요청 수를 계산합니다. LLM 속도 제한 계산기가 요청 크기와 지연 시간으로 이를 계산해 줍니다.
- 클라이언트에서 속도를 조절하세요. 공개된 한도에 맞춘 토큰 버킷으로 대부분의 429를 피할 수 있습니다. Anthropic도 서버 쪽에서 같은 알고리즘을 씁니다.
- 헤더를 읽으세요. Anthropic은
anthropic-ratelimit-*헤더를, Groq은x-ratelimit-*헤더를 반환하는데, Groq의 요청 헤더는 “always refers to Requests Per Day”(번역: 항상 일일 요청 수를 가리킵니다)입니다.retry-after가 있으면 그 값을 사용하세요. - 백오프와 지터로 재시도하고, 재시도 횟수에 상한을 두세요. 429 오류 처리에 동작하는 코드가 있고, 오류와 재시도에서 BroadNet의 상태 코드를 다룹니다.
- 바뀌지 않는 프리픽스를 캐시하세요. Anthropic에서는 캐시된 입력이 입력 한도에 집계되지 않습니다. 어디서든 비용도 줄어듭니다.
- 대량 작업은 분산하세요. Anthropic은 증가 속도 제한(ramp limit)도 적용하므로, 트래픽이 갑자기 늘면 한도 아래에서도 429가 날 수 있습니다. 배치 작업은 천천히 시작하세요. Batch API가 없다면 재개 가능한 배치 실행기로 작업을 한도 안에서 돌릴 수 있습니다.
- 상향을 요청하세요. DeepSeek, DeepInfra, Mistral, Anthropic 모두 더 높은 한도를 요청하는 절차를 안내합니다.
BroadNet Inference는 어디에 적합한가요?
BroadRouter는 BroadNet이 운영하는 웹사이트이므로, 이 섹션은 그 점을 감안해 읽어 주세요. 키 하나로 매우 높은 요청 속도가 필요하다면 BroadNet Inference는 맞는 선택이 아닙니다. 공개된 키당 한도가 OpenAI, Anthropic, Fireworks, Cerebras의 유료 등급보다 훨씬 낮기 때문입니다. 한 번에 요청 몇 개를 보내는 에이전트와 채팅 워크로드에 맞으며, 특히 바쁜 에이전트에도 토큰 계량이나 일일 상한이 없는 정액 플랜에서 그렇습니다. 신규 계정에는 $5 상당의 초기 크레딧이 제공되며, Gemma 4 VL 26B, 전사 모델 2개, Gemma 시간제 키에 사용할 수 있습니다. DeepSeek, GLM, Qwen은 충전이 필요합니다. 셀프서비스에는 SLA가 없습니다. API 한도 보기 또는 플랜 비교하기.
