BroadRouter
시작하기

지출 한도(spend limit)

업데이트

지출 한도(spend limit)는 API 계정, 프로젝트 또는 키가 일정 기간, 보통 한 달 동안 쓸 수 있는 금액의 상한입니다. 사용량이 한도에 도달하면 제공업체는 기간이 초기화되거나 한도가 올라갈 때까지 이후 요청을 거부하며, 흔히 HTTP 429 또는 400 오류를 반환합니다.

다른 이름: 사용 한도, 지출 상한, 예산 한도, 사용량 상한, API 사용 한도, 결제 한도, spend limit, spending limit, spend cap, budget cap, usage cap

속도 제한은 얼마나 빨리 쓸 수 있는지를 통제합니다. 지출 한도는 얼마나 많이 쓸 수 있는지를 통제합니다.

작동 방식

제공업체는 여러 상한을 겹쳐 둡니다. 문서로 확인되는 두 예시입니다.

제공업체 통제 수단 도달하면 일어나는 일
Anthropic 달력 월 기준 티어별 지출 상한(Start, Build, Scale. Custom은 없음) 다음 달 1일 00:00 UTC까지 사용 일시 중지. HTTP 429 rate_limit_error, error.details.error_code는 enforced_spend_limit_reached, retry-after 없음
Anthropic 조직 또는 워크스페이스에 직접 정한 더 낮은 한도 HTTP 400 invalid_request_error, 메시지는 “You have reached your specified API usage limits”로 시작
OpenAI 티어별 월간 사용 한도 가이드에 설명 없음
OpenAI 지출 알림 알림 전송, 트래픽은 계속
OpenAI 조직 또는 프로젝트의 하드 지출 한도 해당 요청이 429 반환

Anthropic의 티어 상한은 월 USD 500(Start), USD 1,000(Build), USD 200,000(Scale)입니다. OpenAI 가이드는 티어별 월간 사용 한도를 Free의 USD 100부터 Grow의 USD 200,000까지 제시하며, 누적 크레딧 구매액이 기준을 넘으면 티어가 올라간다고 설명합니다.

까다로운 점은 지출 한도 429가 속도 제한 429와 똑같아 보인다는 것입니다. Anthropic API에서는 오류 코드로 둘을 구분하며, 지출 상한 응답에는 retry-after 헤더가 없습니다.

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

왜 중요한가

  • 알림은 늦습니다. 빠르게 도는 루프는 이메일이 도착하기 전에 많은 돈을 쓸 수 있습니다. 하드 상한은 이를 멈춥니다.
  • 재시도는 상황을 악화시킵니다. 모든 429에 백오프 후 재시도하는 클라이언트는 지출 상한을 쓸데없이 두드리게 됩니다. 둘을 구분하세요.
  • 공유 상한. 여러 앱이 계정 단위 상한을 공유하면 폭주하는 작업 하나가 나머지를 막을 수 있습니다. 프로젝트별 예산이나 코드 안의 자체 예산으로 분리하세요.

BroadNet Inference에서는

BroadNet API 레퍼런스는 종량제 키의 한도 여섯 가지를 제시합니다. 비용과 처리량을 묶어 두는 세 가지는 분당 요청 30회, 동시 요청 4개, 그리고 지출로, 지출은 “the native budget shared by the account’s pay-as-you-go keys”(번역: 계정의 종량제 키들이 공유하는 네이티브 예산)로 정의됩니다. 나머지는 허용 모델, 1년의 키 유효 기간, 계정당 최대 10개의 활성 키입니다. 계정은 선불이므로 잔액이 가장 바깥쪽 상한입니다. 중요한 상태 코드는 두 가지입니다.

  • 429: “A rate, concurrency, token-rate or spending limit was reached.”(번역: 속도, 동시 처리, 토큰 속도 또는 지출 한도에 도달했습니다)
  • 401: 키가 없거나 유효하지 않거나 만료된 경우, 또는 공유 종량제 예산이 차단된 계정인 경우로(문서 표현은 “a blocked native PAYG budget holder”(번역: 차단된 네이티브 종량제 예산 보유자)), “including exhausted PAYG allowance”(번역: 종량제 허용량 소진 포함)입니다.

BroadNet 개인정보 페이지는 키가 모델, 속도, 지출별로 범위가 지정된다고 말하지만, API 레퍼런스에는 키별·프로젝트별 예산 설정이 없습니다. 따라서 LLM API 지출 관리처럼 요청마다 직전에 실행 중인 예산을 확인하는 코드를 직접 넣으세요. 최악의 경우를 고정하고 싶다면 정액 플랜이나 시간당 $0.50 요금의 시간제 키가 구조적으로 지출을 묶어 둡니다. 재시도 처리는 오류와 재시도 가이드에 있습니다.

자주 묻는 질문

지출 한도에 걸린 요청은 재시도해야 하나요?

아니요. Anthropic은 지출 상한으로 인한 429에는 retry-after 헤더가 없으며, 접근이 재개될 때까지 재시도는 실패한다고 말합니다. 담당자에게 알리거나 작업을 중지하세요.

지출 알림과 지출 한도는 같은 건가요?

아니요. OpenAI는 알림만 보내고 트래픽은 계속 흐르게 두는 지출 알림과, 요청이 429를 반환하게 만드는 하드 지출 한도를 구분합니다.

BroadNet 키마다 예산을 따로 정할 수 있나요?

BroadNet 개인정보 페이지는 범위가 지정된 API 키로 모델, 속도, 지출별 접근을 제어한다고 말합니다. 하지만 API 레퍼런스는 종량제 키의 지출을 계정의 키들이 공유하는 네이티브 예산으로 설명하며, 키별 예산 설정은 보여 주지 않습니다. 키 상세 정보를 확인하고, 앱별 예산은 직접 코드로 관리하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기