---
title: "LLM API 429 오류 해결: 백오프, 지터, 큐 | BroadRouter"
description: "429와 5xx의 차이, 전체 지터를 적용한 지수 백오프, LLM API용 동시 처리 제한과 큐를 프로덕션에 바로 쓸 수 있는 Python·Node 코드와 함께 설명합니다."
url: https://broadrouter.com/ko/blog/handle-llm-api-429-rate-limits/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/handle-llm-api-429-rate-limits/) (2026-11-15 업데이트).

# LLM API 429 오류 처리 방법: 백오프, 지터, 동시 처리 제한

BroadNet Inference 팀 · 5분 분량 · 게시 2026-11-14 · 업데이트 2026-11-15

429는 요청 속도, 동시 처리, 지출 중 하나의 한도에 걸렸다는 뜻입니다. 상한을 둔 지수 백오프와 무작위 지터로 재시도하고, Retry-After가 오면 따르세요. 그다음 대부분의 429를 예방하세요. 세마포어로 동시 요청 수를 키의 한도에 맞추고 나머지는 큐에 넣습니다. 5xx도 같은 방식으로 재시도하고, 다른 4xx 오류는 요청을 고치세요.

## 핵심 요약

-   429와 5xx는 상한을 둔 지수 백오프로 재시도하세요. 400, 401, 403, 413, 422는 재시도하지 말고 요청이나 계정을 고치세요.
-   전체 지터(0부터 지수 상한 사이의 무작위 대기)를 쓰면 많은 클라이언트가 같은 순간에 재시도하는 것을 막을 수 있습니다.
-   429는 대부분 요청량이 아니라 동시 처리에서 발생합니다. 키의 동시 요청 한도에 맞춘 세마포어가 원인을 없앱니다.
-   BroadNet 종량제 키는 분당 요청 30개, 동시 요청 4개까지 허용하며, 플랜 세션은 한 번에 요청 1개를 처리합니다.
-   재시도는 새로운 추론입니다. 토큰당 과금에서는 매번 다시 과금되므로 시도 횟수에 상한을 두세요.

**이 페이지의 내용**

1.  429와 5xx는 무엇이 다른가요?
2.  어떤 한도가 429를 일으키나요?
3.  지터를 둔 백오프는 어떻게 작성하나요?
4.  429가 나기 전에 막으려면 어떻게 하나요?
5.  진짜 큐는 언제 필요한가요?
6.  어떤 재시도 실수가 429를 장애로 키우나요?
7.  BroadNet Inference는 어디에 적합한가요?

429는 트래픽이 [속도 제한](https://broadrouter.com/ko/glossary/rate-limit/)을 넘었다는 뜻입니다. 분당 요청 수, 동시 요청 수, 분당 토큰 수, 지출 중 하나입니다. 해결은 두 부분으로 나뉩니다. **제대로 재시도하기**: 상한을 둔 지수 백오프에 무작위 지터를 더하고 `Retry-After`를 따릅니다. **한꺼번에 덜 보내기**: 키의 동시 요청 한도에 맞춘 세마포어와 큐를 씁니다. 아래에서 코드와 함께 둘 다 다룹니다.

전체 상태 코드 레퍼런스는 [오류와 재시도 가이드](https://broadrouter.com/ko/guides/errors-and-retries/)를, 체크포인트와 타임아웃이 있는 몇 시간짜리 에이전트 실행은 [장시간 실행 에이전트: 타임아웃과 재시도](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/)를 참고하세요.

## 429와 5xx는 무엇이 다른가요?

| 상태 | 누구의 문제인가 | 재시도? | 방법 |
| --- | --- | --- | --- |
| 429 | 트래픽이 한도를 넘음 | 예 | 지터를 둔 백오프, `Retry-After` 준수, 동시 처리 줄이기 |
| 500 / 502 / 503 / 504 | 서버 쪽 | 예 | 상한을 둔 지수 백오프 |
| 연결 재설정, 타임아웃 | 네트워크 또는 서버 | 대개 예 | 백오프. 스트림은 새로 과금되어도 괜찮을 때만 |
| 400 / 422 | 잘못된 요청 | 아니요 | 페이로드 수정 |
| 401 / 402 / 403 | 키, 잔액 또는 정책 | 아니요 | 키 수정, 계정 충전, 허용 목록 수정 |
| 413 | 요청이 너무 큼 | 아니요 | 크기 줄이기 |

BroadNet Inference에서 429는 요청 속도, 동시 처리, 토큰 속도, 지출이라는 네 가지 한도 중 어느 것이든 뜻할 수 있습니다. 지출 한도는 30초 기다린다고 풀리지 않습니다. BroadNet 문서에는 오류 본문의 어느 필드가 어떤 한도인지 나와 있지 않으므로, 본문을 기록해 두고 키 세부 정보에 표시된 한도와 비교하세요.

공개 데이터셋 [LLM API 무료 티어와 속도 제한](https://broadrouter.com/data/llm-api-free-tiers-and-rate-limits/)은 제공업체 14곳이 무료 이용, 시작 속도 제한, 카드 등록 요구, 무료 티어 데이터의 학습 사용에 대해 공개한 내용을 값마다 출처와 날짜를 달아 비교합니다.

## 어떤 한도가 429를 일으키나요?

상대해야 할 숫자를 알아 두세요. BroadNet Inference 기준:

| 키 종류 | 분당 요청 | 동시 요청 | 기타 |
| --- | --- | --- | --- |
| 종량제 | 30 | 4 | 공유 지출 예산 |
| 시간제 키 | 120 | 스트림 1개 | 분당 토큰 300,000개 |
| 무제한 플랜 세션 | — | 세션당 요청 1개 | 토큰 계량 없음 |

LLM에서 가장 중요한 것은 동시 요청 수입니다. 스트리밍 답변은 마지막 토큰이 도착할 때까지 슬롯을 차지하므로, 긴 답변은 모델이 그 답변을 다 쓰는 동안 슬롯을 계속 붙잡고 있습니다(BroadNet이 밝힌 일반적인 속도는 초당 약 100토큰입니다). 키의 슬롯 4개보다 많은 병렬 호출을 보내면, 그 1분 동안 보낸 요청이 몇 개 되지 않아도 초과분은 429를 받습니다. 이것은 [동시 처리](https://broadrouter.com/ko/glossary/concurrency/) 문제이며, 백오프만으로는 잘 해결되지 않습니다. 출시 전에 한도에 맞춰 워커 수를 정하려면 무료 [LLM 속도 제한 계산기](https://broadrouter.com/tools/llm-rate-limit-calculator/)를 사용하세요. 항목이 많은 고정된 작업이라면 [LLM 배치 작업 플래너](https://broadrouter.com/tools/llm-batch-job-planner/)가 같은 한도를 실행 시간으로 바꿔 줍니다. 다른 제공업체는 한도를 다르게 셉니다(분당 토큰, 일일 요청, 동시 요청). [제공업체별 LLM API 속도 제한](https://broadrouter.com/ko/blog/llm-api-rate-limits-by-provider/)에서 13곳을 각사 문서 기준으로 비교합니다.

## 지터를 둔 백오프는 어떻게 작성하나요?

일반적인 [지수 백오프](https://broadrouter.com/ko/glossary/exponential-backoff/)는 1, 2, 4, 8초를 기다립니다. 워커 100개가 같은 순간에 제한을 받았다면 모두 같은 순간에 돌아옵니다. AWS가 경쟁하는 클라이언트 100개로 시뮬레이션한 결과, 전체 지터는 지터 없는 백오프보다 호출 수를 절반 넘게 줄이고 더 빨리 끝났습니다. 가장 단순한 방식인 **전체 지터**(full jitter)는 0부터 지수 상한 사이에서 무작위로 기다립니다.

```python
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)
```

`max_retries=0`은 SDK 자체 재시도를 꺼서 이중으로 재시도하지 않게 합니다. SDK의 기본 동작으로 충분하다면 반대로 해도 됩니다. 직접 만든 루프를 빼고, [Python SDK 가이드](https://broadrouter.com/ko/guides/openai-python-sdk/)처럼 클라이언트에 `max_retries=4`를 설정하세요. 공식 Python과 Node SDK는 연결 오류, 408, 409, 429, 5xx를 기본적으로 두 번 재시도합니다.

`Retry-After`는 표준 헤더(RFC 9110)로, 초 단위 값이나 날짜를 담을 수 있습니다. BroadNet 문서는 이 헤더를 보장하지 않으므로, 코드에서는 선택 사항으로 다룹니다.

## 429가 나기 전에 막으려면 어떻게 하나요?

동시 요청 수를 키의 한도로 제한하세요. Python에서는 `asyncio.Semaphore` 객체 하나와 `async with` 블록 하나면 됩니다. 아래 코드는 예시로 4를 쓰니, 키의 동시 요청 한도(BroadNet 종량제 키는 4)로 바꿔 설정하세요.

```python
import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
```

`gather`는 모든 작업을 시작하지만, 동시에 실행되는 것은 세마포어가 허용하는 수만큼입니다. 나머지는 세마포어의 대기열에서 기다립니다. Node에서는 `p-limit` 패키지가 같은 역할을 하며, 여기서도 예시 값은 4입니다.

```javascript
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
```

분당 상한도 지키려면 60 / rpm초마다 허가를 하나씩 내주는 토큰 버킷을 추가하세요. 여기서 rpm은 키의 분당 요청 한도입니다(BroadNet 종량제 키는 30).

## 진짜 큐는 언제 필요한가요?

세마포어는 프로세스 하나 안에서만 동작합니다. 여러 워커나 서버가 키 하나를 공유하면 한도도 공유되는데, 각 프로세스는 자기 트래픽만 봅니다. 이때는 다음과 같이 하세요.

1.  작업을 공유 큐(Redis, SQS, 데이터베이스 테이블)에 넣습니다.
2.  키의 동시 요청 한도와 같은 수의 컨슈머를 고정해서 실행합니다.
3.  작업마다 ID를 부여하고 결과를 ID별로 저장해, 재시도한 작업이 두 번 실행되지 않게 합니다.
4.  대화형 트래픽과 배치 트래픽은 별도의 키나 별도의 큐로 보내, 밀린 배치 작업 때문에 답변을 기다리는 사용자가 막히지 않게 합니다.

Batch API 없이 항목 수천 개를 처리하는 대량 작업은 [재개 가능한 배치 실행기](https://broadrouter.com/ko/blog/llm-batch-processing-without-batch-api/)를 참고하세요.

## 어떤 재시도 실수가 429를 장애로 키우나요?

-   **상한 없는 재시도.** 장애가 길어지는 동안 상한 없는 재시도 루프는 부하를, 그리고 토큰당 과금에서는 청구액을 몇 배로 불립니다.
-   **절반쯤 끝난 스트림을 무작정 재시도하기.** 스트림이 이미 토큰을 반환했다면 재시도는 새로운 추론이며, 사용자는 같은 텍스트를 두 번 볼 수 있습니다. 끊긴 스트림을 감지하는 방법은 [스트리밍 글](https://broadrouter.com/ko/blog/llm-streaming-sse-explained/)을 참고하세요.
-   **계정 오류 재시도.** 종량제 허용량을 모두 쓴 401이나 잔액 부족으로 인한 402는 저절로 해결되지 않습니다.

모든 재시도를 상태, 대기 시간, `X-Request-ID` 응답 헤더와 함께 기록하세요. BroadNet 문서는 지원 요청을 위해 이 헤더를 보관하라고 안내합니다. 재시도 비율이 오르는 것은 용량이 더 필요하다는 가장 이른 경고입니다. 기록 방법은 [사용량 로깅](https://broadrouter.com/ko/blog/llm-api-usage-logging/)에 있습니다.

## BroadNet Inference는 어디에 적합한가요?

BroadNet의 한도는 공개되어 있고, 설계에 반영하기 좋을 만큼 작습니다. 종량제 키의 동시 요청은 4개입니다. 앱과 에이전트에는 맞지만, 키 하나로 병렬 호출 수백 개를 원하는 대량 작업에는 너무 빠듯합니다. 에이전트라면 [무제한 플랜](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)에는 토큰 계량이 없고 세션당 한 번에 요청 1개를 처리합니다. 병렬 작업에는 [병렬 코딩 에이전트 실행하기](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/)에서 설명하듯 세션을 추가하면 됩니다. 현재 한도는 [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-handle-llm-api-429-rate-limits&utm_content=body#limits)에 있습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[지수 백오프(exponential backoff)](https://broadrouter.com/ko/glossary/exponential-backoff/)

지수 백오프(exponential backoff)는 클라이언트가 시도에 실패할 때마다 더 오래 기다렸다가 다시 시도하는 재시도 전략으로, 보통 상한까지 지연 시간을 두 배씩 늘립니다. 각 대기 시간에 무작위 지터를 더하면 여러 클라이언트의 재시도가 분산되어 같은 순간에 서버로 몰리지 않습니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[배치 API(Batch API)](https://broadrouter.com/ko/glossary/batch-api/)

배치 API는 많은 요청을 보통 파일 형태로 한 번에 받아, 즉시가 아니라 정해진 시간 창 안에 처리한 뒤 결과를 함께 돌려주는 비동기 LLM 엔드포인트입니다. OpenAI와 Anthropic 같은 제공업체는 배치 요청을 표준 API보다 할인된 가격으로 제공합니다.

[요청 타임아웃(request timeout)](https://broadrouter.com/ko/glossary/request-timeout/)

요청 타임아웃(request timeout)은 HTTP 클라이언트가 요청을 포기하기 전까지 서버를 기다리는 최대 시간입니다. 클라이언트는 보통 연결을 여는 연결 타임아웃과 데이터를 기다리는 읽기 타임아웃으로 나눕니다. 긴 답변은 시간이 걸리므로 LLM 호출에는 넉넉한 읽기 타임아웃이 필요합니다.

## 자주 묻는 질문

### LLM API에서 HTTP 429는 무슨 뜻인가요?

Too Many Requests입니다. 분당 요청 수, 동시 요청 수, 분당 토큰 수, 지출 중 하나의 한도를 넘었다는 뜻입니다. 요청은 처리되지 않았으므로 잠시 기다린 뒤 다시 보내도 안전합니다.

### 429 오류 후 재시도까지 얼마나 기다려야 하나요?

서버가 Retry-After를 보내면 그 값을 따르세요. 그렇지 않으면 1초 정도에서 시작해 시도마다 두 배로 늘리고, 상한을 30~60초 정도로 둔 뒤, 0부터 그 상한 사이에서 무작위로 대기 시간을 고르세요. 4~6회 시도 후에는 멈추세요.

### LLM API의 500, 503 오류도 재시도해야 하나요?

네, 같은 방식으로 상한을 둔 백오프를 적용하세요. 서버 쪽 문제이기 때문입니다. 400, 401, 403, 422는 매번 똑같이 실패하므로 요청을 고치세요.

### OpenAI SDK는 429를 자동으로 재시도하나요?

네. 공식 Python과 Node SDK는 연결 오류, 408, 409, 429, 5xx를 기본적으로 짧은 지수 백오프로 두 번 재시도합니다. 배치 작업에서는 max\_retries를 올리고, 동시 처리 제한은 직접 추가하세요.

### 분당 요청 한도보다 적게 보냈는데 왜 429가 나나요?

대개 동시 처리 한도 때문입니다. 긴 스트리밍 응답은 몇십 초 동안 처리 중 상태로 남으므로, 분당 요청 수는 적어 보여도 병렬 호출 몇 개만으로 동시 요청 상한에 걸릴 수 있습니다.

## 이어서 읽기

-   [장시간 실행 에이전트: 버티는 타임아웃, 재시도, 체크포인트](https://broadrouter.com/ko/blog/long-running-agents-timeouts-retries/)
-   [LLM 스트리밍 원리: SSE 청크, 델타, usage, 취소](https://broadrouter.com/ko/blog/llm-streaming-sse-explained/)
-   [정액제 LLM API로 코딩 에이전트를 병렬 실행하는 방법](https://broadrouter.com/ko/blog/run-parallel-coding-agents-flat-rate/)
-   [LLM API 사용량 로깅: 사용자·기능별 비용 추적과 개인정보 마스킹](https://broadrouter.com/ko/blog/llm-api-usage-logging/)
-   [Batch API 없이 LLM 일괄 처리하기: 재개 가능한 실행기](https://broadrouter.com/ko/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [가이드: 에이전트용 무제한 LLM API 플랜은 어떻게 작동하나요?](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-handle-llm-api-429-rate-limits&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference API 레퍼런스, 오류와 한도(2026-11-14 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-handle-llm-api-429-rate-limits&utm_content=sources#errors)
-   [AWS Architecture Blog, Exponential Backoff and Jitter(2026-11-14 확인)](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)
-   [RFC 6585, 상태 코드 429 Too Many Requests(2026-11-14 확인)](https://www.rfc-editor.org/rfc/rfc6585#section-4)
-   [RFC 9110, Retry-After 헤더(2026-11-14 확인)](https://www.rfc-editor.org/rfc/rfc9110#field.retry-after)
-   [openai-python README, 자동 재시도(2026-11-14 확인)](https://github.com/openai/openai-python)
-   [openai-node README, 재시도(2026-11-14 확인)](https://github.com/openai/openai-node)
