속도 제한은 얼마나 빨리 쓸 수 있는지를 통제합니다. 지출 한도는 얼마나 많이 쓸 수 있는지를 통제합니다.
작동 방식
제공업체는 여러 상한을 겹쳐 둡니다. 문서로 확인되는 두 예시입니다.
| 제공업체 | 통제 수단 | 도달하면 일어나는 일 |
|---|---|---|
| Anthropic | 달력 월 기준 티어별 지출 상한(Start, Build, Scale. Custom은 없음) | 다음 달 1일 00:00 UTC까지 사용 일시 중지. HTTP 429 rate_limit_error, error.details.error_code는 enforced_spend_limit_reached, retry-after 없음 |
| Anthropic | 조직 또는 워크스페이스에 직접 정한 더 낮은 한도 | HTTP 400 invalid_request_error, 메시지는 “You have reached your specified API usage limits”로 시작 |
| OpenAI | 티어별 월간 사용 한도 | 가이드에 설명 없음 |
| OpenAI | 지출 알림 | 알림 전송, 트래픽은 계속 |
| OpenAI | 조직 또는 프로젝트의 하드 지출 한도 | 해당 요청이 429 반환 |
Anthropic의 티어 상한은 월 USD 500(Start), USD 1,000(Build), USD 200,000(Scale)입니다. OpenAI 가이드는 티어별 월간 사용 한도를 Free의 USD 100부터 Grow의 USD 200,000까지 제시하며, 누적 크레딧 구매액이 기준을 넘으면 티어가 올라간다고 설명합니다.
까다로운 점은 지출 한도 429가 속도 제한 429와 똑같아 보인다는 것입니다. Anthropic API에서는 오류 코드로 둘을 구분하며, 지출 상한 응답에는 retry-after 헤더가 없습니다.
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
왜 중요한가
- 알림은 늦습니다. 빠르게 도는 루프는 이메일이 도착하기 전에 많은 돈을 쓸 수 있습니다. 하드 상한은 이를 멈춥니다.
- 재시도는 상황을 악화시킵니다. 모든 429에 백오프 후 재시도하는 클라이언트는 지출 상한을 쓸데없이 두드리게 됩니다. 둘을 구분하세요.
- 공유 상한. 여러 앱이 계정 단위 상한을 공유하면 폭주하는 작업 하나가 나머지를 막을 수 있습니다. 프로젝트별 예산이나 코드 안의 자체 예산으로 분리하세요.
BroadNet Inference에서는
BroadNet API 레퍼런스는 종량제 키의 한도 여섯 가지를 제시합니다. 비용과 처리량을 묶어 두는 세 가지는 분당 요청 30회, 동시 요청 4개, 그리고 지출로, 지출은 “the native budget shared by the account’s pay-as-you-go keys”(번역: 계정의 종량제 키들이 공유하는 네이티브 예산)로 정의됩니다. 나머지는 허용 모델, 1년의 키 유효 기간, 계정당 최대 10개의 활성 키입니다. 계정은 선불이므로 잔액이 가장 바깥쪽 상한입니다. 중요한 상태 코드는 두 가지입니다.
- 429: “A rate, concurrency, token-rate or spending limit was reached.”(번역: 속도, 동시 처리, 토큰 속도 또는 지출 한도에 도달했습니다)
- 401: 키가 없거나 유효하지 않거나 만료된 경우, 또는 공유 종량제 예산이 차단된 계정인 경우로(문서 표현은 “a blocked native PAYG budget holder”(번역: 차단된 네이티브 종량제 예산 보유자)), “including exhausted PAYG allowance”(번역: 종량제 허용량 소진 포함)입니다.
BroadNet 개인정보 페이지는 키가 모델, 속도, 지출별로 범위가 지정된다고 말하지만, API 레퍼런스에는 키별·프로젝트별 예산 설정이 없습니다. 따라서 LLM API 지출 관리처럼 요청마다 직전에 실행 중인 예산을 확인하는 코드를 직접 넣으세요. 최악의 경우를 고정하고 싶다면 정액 플랜이나 시간당 $0.50 요금의 시간제 키가 구조적으로 지출을 묶어 둡니다. 재시도 처리는 오류와 재시도 가이드에 있습니다.