BroadRouter
시작하기

LLM API 비용 통제: 예산, 키 한도, 무한 루프 방지

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

LLM API 비용은 계층별로 통제하세요. 계정 상한으로 선불 잔액을 두고, 앱마다 키를 하나씩 만들어 서버 IP로 잠그고, 모든 요청에 max_tokens와 단계 상한을 두고, 작업이 예산을 넘기 전에 멈추는 코드 내 예산을 두세요. 키별로 토큰을 기록하고 직접 정한 수치로 알림을 받으세요. 정액 플랜과 시간제 키는 최악의 경우에도 비용이 정해져 있습니다.

LLM 청구액이 예상 밖으로 나오는 이유는 대부분 같습니다. 아무도 보지 않는 사이 무언가가 계속 API를 호출한 것입니다. 재시도 루프, 끝내지 못한 에이전트, 공개 저장소에 유출된 키. 예산 알림은 일이 벌어진 뒤에야 알려 줍니다. 이 글에서는 계정부터 개별 요청까지 계층별로 비용 통제를 구축하고, 어느 부분을 BroadNet Inference가 처리하고 어느 부분을 코드에 추가해야 하는지 보여 드립니다.

왜 알림만으로는 부족한가요?

알림은 사용량이 기록된 뒤에 지출을 임계값과 비교합니다. 에이전트 루프는 분당 수십 건의 요청을 보낼 수 있습니다. 이메일이 도착할 즈음엔 돈은 이미 나갔습니다. 알림은 최후의 안전망으로 쓰고, 확실한 중단 장치는 요청을 보내는 곳에 두세요.

LLM 비용 통제에는 어떤 계층이 있나요?

계층 통제 수단 막아 주는 것 설정 위치
계정 선불 잔액 충전한 금액을 넘는 지출 제공업체 계정
키 앱이나 에이전트마다 키 하나 유출 하나로 전부를 잃는 것 제공업체 포털
키 IP 허용 목록 도난당한 키를 다른 곳에서 사용 제공업체 포털
요청 max_tokens, reasoning_effort 거대한 답변 하나 직접 작성한 코드
작업 단계 상한, 재시도 상한, 루프 감지 폭주하는 에이전트 직접 작성한 코드
작업 작업별·일별 누적 예산 여러 호출에 걸친 느린 누수 코드 또는 프록시
보고 토큰 기록과 알림 알아채기 어려운 증가 추세 자체 로그
가격 정액 플랜 또는 시간제 키 토큰 계량 그 자체 플랜 선택

계정 수준: 선불 잔액은 지출에 어떻게 상한을 두나요?

BroadNet Inference 종량제 키는 선불 계정 잔액에서 차감됩니다. 새 계정은 카드 없이 $5 금액의 크레딧으로 시작합니다. 종량제 허용량을 다 쓰면 요청이 401을 반환하고, 잔액으로 감당할 수 없는 구매(예: 시간제 키)는 402 insufficient_balance를 반환합니다. 둘 다 재시도할 대상이 아니라 멈추라는 신호로 다루세요. BroadNet 오류 레퍼런스는 429의 원인 중 하나로 지출 한도도 들고 있으므로, 429를 재시도하기 전에는 오류 본문을 읽으세요. 전체 오류 코드와 백오프로 429 처리하기를 참고하세요.

잔액은 바깥쪽 상한입니다. 1년 치가 아니라 이번 달에 잃어도 괜찮은 금액만큼 충전하세요. 그 금액을 정하려면 먼저 예상 트래픽을 LLM API 비용 계산기에 넣어 보세요.

키 수준: 유출된 키의 피해는 어떻게 줄이나요?

API 키는 지출 권한입니다. 키를 가진 사람은 누구든 잔액을 쓸 수 있습니다. 키마다 피해 범위를 제한하세요.

  1. 앱, 에이전트, 환경마다 키 하나. BroadNet은 계정당 활성 키를 최대 10개까지 허용하며, 각 키는 최대 1년간 유효합니다. 로그를 보고 어느 키가 지출했는지 알 수 있도록 이름을 붙이세요.
  2. 키를 서버에 잠그세요. 송신(egress) IP나 CIDR 범위를 IP 허용 목록에 최대 32개까지 추가하세요. 다른 주소에서 온 요청은 403을 받습니다.
  3. 빠르게 폐기하세요. 키 폐기와 허용 목록 변경은 5초 안에 새 요청에 적용됩니다.
  4. 포털 자격 증명은 서버에 두지 마세요. 포털 자격 증명으로는 키를 만들고 구매도 할 수 있습니다. 추론 키는 모델 호출만 할 수 있습니다.

IP 허용 목록으로 API 키 잠그기를 참고하세요.

요청 수준: 모든 답변의 크기를 어떻게 제한하나요?

모든 호출에 max_tokens를 설정하세요. 추론 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)에서는 1,000 이상으로 유지하세요. 생각이 같은 예산을 공유하므로 값이 너무 낮으면 비용은 내면서 빈 답변을 받게 됩니다. 간단한 작업에는 reasoning_effort를 낮추세요. 추론 토큰의 과금 방식을 참고하세요.

작업 수준: 폭주하는 에이전트 루프는 어떻게 멈추나요?

폭주하는 루프에는 알아볼 수 있는 징후가 있습니다. 같은 도구 호출의 반복, 매 턴 커지는 컨텍스트, 제한 없이 재시도되는 오류입니다. 클라이언트를 감싸는 가드를 두세요.

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

이 가드는 가격을 하드코딩하지 않고 요금표에서 읽으므로, 가격이 바뀌어도 정확하게 유지됩니다. call()에는 가격을 매긴 것과 같은 모델을 넘기세요. max_retries는 작게 두세요. OpenAI SDK가 이미 429와 5xx를 재시도하며, 재시도할 때마다 다시 과금됩니다.

팀 단위라면 같은 확인을 공유 프록시에서 실행해서 모든 서비스가 하나의 일일 예산을 쓰게 하세요. 재시도는 속도 제한에도 걸립니다. 키가 실제로 분당 몇 번의 호출을 허용하는지는 속도 제한 계산기에서 확인할 수 있습니다.

보고: 무엇을 기록하고 어떤 알림을 걸어야 하나요?

요청마다 다음을 기록하세요. 키 별칭, 기능 또는 에이전트 이름, 모델, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, 상태, X-Request-ID. 스트리밍할 때는 stream_options: {"include_usage": true}를 설정하세요. 그렇지 않으면 usage가 전혀 오지 않습니다(스트리밍 가이드).

이 로그를 바탕으로 다음 경우에 알림을 거세요.

  • 키별 일일 비용이 비용 예측에서 나온 예상치를 넘을 때
  • 작업당 토큰이 중앙값의 3배를 넘을 때
  • 캐시 비율이 떨어질 때. 트래픽이 늘지 않아도 비용이 오릅니다.
  • 429나 5xx 응답 비율이 오를 때. 재시도가 늘고 있다는 뜻입니다.

BroadNet은 프롬프트가 아니라 시간, 토큰 수, 비용 같은 콘텐츠 없는 기록만 보관하므로, 기능별 세부 정보는 자체 로그에만 남습니다. 데이터 정책이 금지한다면 프롬프트 내용은 기록하지 마세요. 사용자별·기능별 비용을 담은 사용량 로깅 구축하기를 참고하세요.

가격 수준: 정액 가격이 예산보다 나은 때는 언제인가요?

가장 확실한 비용 통제는 변하지 않는 가격입니다.

  • 플랜 세션: 월 $60(Full Moon), 주 $15(Orbit), 시간당 $1(Meteor) 요금으로 DeepSeek V4.1 Flash를 무제한 사용하며, 한 번에 요청 1개를 처리합니다. 플랜 키의 요청은 잔액에서 차감되지 않습니다.
  • 시간제 키: $0.50 요금으로 Gemma 4 VL 26B를 스트림 하나로 1시간 사용합니다. 서버 밖으로 나가는 키에 적합합니다. 시간제 키 설명을 참고하세요.

플랜에서는 루프가 돌아도 시간을 낭비할 뿐 돈을 낭비하지는 않습니다. 그래도 단계 상한은 두어야 합니다. 멈춘 에이전트가 다른 작업에 쓸 세션을 막기 때문입니다. 플랜이 계량 청구액보다 저렴한지는 사용량에 달려 있습니다. 정액제 vs 토큰당 과금 계산기가 자신의 토큰 구성에 맞는 손익분기점을 알려 줍니다.

토큰당 단가는 쓰는 도중에 오를 수도 있습니다. 기록으로 남은 LLM API 가격 인상 52건에서 그런 일이 얼마나 자주, 어느 제공업체에서, 얼마만큼 있었는지 볼 수 있습니다.

간단한 체크리스트

  1. 월 한도에 맞춘 선불 잔액.
  2. 앱마다 이름을 붙인 키 하나와 IP 허용 목록.
  3. 모든 요청에 max_tokens.
  4. 모든 에이전트에 단계 상한, 재시도 상한, 반복 호출 감지.
  5. 작업별 누적 비용을 매 호출 전에 확인.
  6. 요청별 토큰 기록과 직접 정한 임계값의 알림.
  7. 사용이 계속되거나 키가 외부에 노출되는 곳에는 정액 플랜이나 시간제 키.

BroadNet Inference는 어디에 적합한가요?

BroadNet은 계정과 키 계층을 제공합니다. 선불 잔액, 분리된 키, 몇 초 안에 폐기되는 IP 허용 목록, 정액 플랜과 시간제 키입니다. 이 글에서 다룬 작업 수준 예산은 제공하지 않으며, 그것은 코드나 프록시에 두어야 합니다. 여러 제공업체에 걸쳐 팀별 예산이 필요하다면, 모든 제공업체 앞에 두는 게이트웨이가 적합한 도구입니다. 가격 보기.

자주 묻는 질문

LLM API에 지출 한도는 어떻게 설정하나요?

제공업체의 선불 잔액이나 지출 한도를 바깥쪽 상한으로 두고, 매 요청 전에 작업별·일별 예산을 코드에서 직접 확인하세요. 제공업체의 한도와 알림은 빠르게 도는 루프를 따라가지 못할 수 있기 때문입니다.

AI 에이전트 비용이 폭주하지 않게 하려면 어떻게 하나요?

작업당 단계 수와 재시도 횟수에 상한을 두고, 모든 요청에 max_tokens를 설정하고, 똑같은 도구 호출이 반복되는지 감지하고, 누적 비용이 예산을 넘으면 작업을 멈추세요.

잔액이 떨어져 401이나 402 오류가 나면 재시도해야 하나요?

아니요. BroadNet에서 종량제 허용량이 소진되면 401이 반환되고, 402 insufficient_balance는 시간제 키 같은 구매를 계정 잔액으로 감당할 수 없다는 뜻입니다. 먼저 계정을 충전하세요. 백오프를 두고 재시도할 것은 429와 5xx입니다.

LLM 비용을 추적하려면 무엇을 기록해야 하나요?

요청마다 키 별칭, 기능 또는 에이전트 이름, 모델, prompt_tokens, cached_tokens, completion_tokens, 상태 코드, 요청 ID를 기록하세요. 가격 파일의 단가를 곱하면 비용이 나옵니다.

정액 플랜도 비용 통제 수단인가요?

네. 플랜 세션이나 시간제 키는 토큰을 얼마나 쓰든 가격이 같으므로, 루프가 돌아도 시간을 잃을 뿐 돈을 잃지는 않습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기