“전용 엔드포인트가 필요합니다”는 대화의 시작이지 명세가 아닙니다. 제공업체는 여러분의 숫자 없이는 용량의 규모, 위치, 가격을 정할 수 없고, 여러분도 그 숫자 없이는 제공업체의 답을 판단할 수 없습니다. 이 글은 청구서 추출이라는 계산 예시를 통해 문의 전에 정해야 할 것을 정리하고, 받은 엔드포인트를 검사하는 스크립트로 마무리합니다.
어떤 제공업체에도 적용됩니다. BroadNet의 제공 내용을 설명하는 부분은 2026년 11월 15일에 확인한, BroadNet이 공개적으로 밝힌 내용만 다룹니다. 그 이상은 BroadNet에 물어봐야 할 질문입니다.
전용 엔드포인트는 언제 의미가 있나요?
대개 다음 네 가지 이유 중 하나입니다.
- 셀프서비스 한도를 넘는 트래픽. BroadNet API 레퍼런스는 종량제 키에 대해 분당 요청 30개, 동시 요청 4개를 공개합니다. 이를 꾸준히 넘는 워크로드는 재시도가 아니라 용량의 문제입니다. (짧은 버스트는 429 처리하기에서 다룹니다.)
- 공개 목록에 없는 모델. BroadNet 카탈로그에는 Qwen3-VL 30B-A3B, Qwen3-VL 8B, BroadNet이 파인튜닝한 Cohere Transcribe Arabic 등 “available on request”(문의 시 제공)로 표시된 모델이 있습니다. 차이는 모델 카탈로그 읽는 법에서 설명합니다.
- 직접 통제해야 하는 처리 위치. 사우디·UAE PDPL 체크리스트에 나오는 것 같은 데이터 레지던시 규정은 서면으로 합의한 리전을 요구할 수 있습니다.
- 예측 가능한 지연 시간. 공유 용량은 다른 사용자의 부하에 따라 달라집니다. 예약 용량은 그 변수를 없애지만, 네트워크 거리나 자체 프롬프트 크기까지 없애지는 않습니다.
어느 것도 해당하지 않는다면 셀프서비스 키가 더 간단합니다. 그리고 사용량이 매우 많고 꾸준하다면 직접 운영하는 경우와 비교해 보세요. 방법은 셀프 호스팅 vs API 비용에 있습니다.
워크로드에 대해 무엇을 정해야 하나요?
한 페이지짜리 요약서를 쓰세요. 제공업체에 필요한 숫자는 다음과 같습니다.
| 항목 | 적을 내용 | 예시 |
|---|---|---|
| 작업 | 모델이 하는 일을 한 문장으로 | 청구서 사진을 읽고 JSON 필드 반환 |
| 사용량 | 하루 요청 수와 가장 바쁜 1시간의 비중 | 하루 40,000건, 피크 1시간에 15% |
| 토큰 | 입력·출력 토큰의 평균과 95번째 백분위수 | 입력 1,800(페이지 이미지 1장 + 프롬프트), 출력 350 |
| 컨텍스트 | 단일 요청의 최대 크기(프롬프트 + 답변) | 4,000토큰 |
| 지연 시간 | 허용 가능한 첫 토큰까지의 시간과 전체 답변까지의 시간 | 전체 답변 10초 이내 |
| 스트리밍 | 필요 여부 | 불필요(배치 방식) |
| 입력 | 텍스트, 이미지, 오디오, 형식과 크기 | JPEG, PNG, 각 1페이지 |
| 언어 | 어떤 언어와 각각의 비중 | 아랍어와 영어, 60/40 |
| 성장 | 6개월, 12개월 후 예상 사용량 | 12개월 후 두 배 |
토큰 수는 추측이 아니라 실제 샘플로 측정하세요. 아랍어는 같은 텍스트에 영어보다 토큰이 더 필요한 경우가 많습니다. 토크나이저별로 얼마나 다른지는 아랍어 토큰 카운터와 언어별 실제 비용에서 볼 수 있습니다. 이미지는 이미지 토큰 계산기로 1차 추정치를 얻으세요.
사용량을 초당 토큰과 동시성으로 어떻게 바꾸나요?
피크 초당 요청 수는 가장 바쁜 1시간의 사용량을 3,600으로 나눈 값입니다. 동시에 진행 중인 요청 수인 동시성은 리틀의 법칙에서 나옵니다. 시스템 안의 평균 개수는 도착률에 각각이 머무는 평균 시간을 곱한 값과 같습니다. API에서는 초당 요청 수 × 요청당 초입니다.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
출력 결과는 피크 초당 요청 1.67개, 요청당 약 5.8초, 동시 요청 10개, 초당 입력 토큰 3,000개와 출력 토큰 583개, 월 25억 8,000만(2,580 million) 토큰이었습니다. 초당 60토큰은 예시를 위한 가정입니다. 속도는 모델, 프롬프트 길이, 부하에 따라 달라지므로, 실제로 쓸 모델에서 직접 측정하세요. 무엇을 측정할지는 지연 시간, TTFT, 처리량 글에서 설명합니다.
주의할 점이 두 가지 있습니다. 이 공식은 프롬프트 처리 시간을 무시하므로, 긴 프롬프트나 큰 이미지는 실제 요청을 느리게 만들어 동시성을 끌어올립니다. 그리고 평균은 버스트를 가립니다. 평균만이 아니라 95번째 백분위수 요청 크기와 짧은 버스트 패턴을 제공업체에 주세요. 이 예시의 피크(분당 약 100건, 동시 10건)는 종량제 키 하나에 공개된 셀프서비스 한도를 훌쩍 넘으며, 바로 이럴 때 용량 상담을 할 가치가 있습니다.
리전, 레지던시, 한도는 어떻게 하나요?
규제 대상 데이터를 옮기기 전에 명시적으로, 서면으로 합의하세요. BroadNet 약관(§7.3a)은 “Contact us to agree processing locations for your deployment before sending data with residency requirements”(번역: 레지던시 요건이 있는 데이터를 보내기 전에 배포의 처리 위치를 합의하려면 문의하세요)라고 하며, 파트너 호스팅과 백업 처리에는 다른 처리자가 관여하고 최신 하위 처리자 목록은 요청 시 고객에게 제공된다고 밝힙니다. 개인정보 방침에 따르면 BroadNet 자체 모델과 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되고, 파트너 용량이 백업이며, 개요 페이지에 따르면 MENA나 유럽에서의 지역 처리는 문의 시 가능합니다.
따라서 어떤 제공업체에든 물어야 할 질문은 다음과 같습니다.
- 어느 리전이 요청을 처리하고, 어느 리전에 백업 용량이 있나요?
- 장애 조치나 초과 트래픽을 포함해, 어떤 하위 처리자가 트래픽에 접근할 수 있나요?
- 엔드포인트의 속도, 동시성, 토큰 한도는 무엇이며, 그것을 넘으면 어떻게 되나요?
- 어떤 가용성 및 지원 조건이 적용되며, 어디에 명시되어 있나요? BroadNet 약관(§7.4)은 셀프서비스에는 가용성 약정이 없으며, 전용 엔드포인트와 예약 용량은 별도의 서면 계약을 따른다고 밝힙니다. 다른 제공업체의 서면 SLA가 무엇을 보장하는지는 LLM API SLA 비교를 읽어 보세요.
- 무엇이 보관되나요? BroadNet 추론 API에 대해 공개된 입장은 이렇습니다. 추론 콘텐츠는 보관되지 않으며, 필요한 계정, 결제, 보안 메타데이터는 개인정보 방침에 설명된 대로 보관됩니다. 여러분의 엔드포인트에도 같은 내용이 적용되는지 확인하세요.
어떤 모델을, 어떤 라이선스로 쓰나요?
정확한 모델과 버전을 명시하고, 라이선스가 여러분의 용도와 API 제공을 허용하는지 확인하세요. BroadNet 모델 페이지에는 Gemma 4 26B, Qwen3-VL 30B-A3B, Cohere Transcribe 기본 가중치가 Apache-2.0으로, BroadNet이 파인튜닝한 Cohere Transcribe Arabic은 “under contract”(계약에 따름)로 나와 있습니다. 약관은 모델이 각자의 라이선스를 따르며, DeepSeek V4.1 Flash는 파트너 호스팅일 때도 그 라이선스가 적용된다고 밝힙니다.
컨텍스트 윈도도 합의하세요. 컨텍스트 한도는 기본 모델의 최대치만이 아니라 모델과 배포 방식에 따라 정해집니다. BroadNet은 공개 API의 Gemma 4 VL 26B를 32K 토큰으로, 문의 시 제공되는 Qwen3-VL 30B-A3B를 16K로 안내합니다. 컨텍스트 윈도 계산기는 평균 요청이 아니라 가장 큰 요청으로 확인하세요.
예산은 어떻게 정하나요?
BroadNet은 전용 엔드포인트 가격을 공개하지 않습니다. 개요 페이지에는 “Reserved GPU, priced to your traffic. Ask for a quote.”(번역: 예약 GPU, 트래픽에 맞춘 가격. 견적을 요청하세요.)라고 되어 있습니다. 그러니 먼저 자체 상한을 정하세요. 규모 산정 스크립트의 월 토큰 수로 LLM API 비용 계산기에서 같은 워크로드의 셀프서비스 가격을 계산하고, 예측 가능한 용량, 리전, 비공개 모델에 얼마를 더 낼 가치가 있는지 정하세요. 셀프서비스 금액보다 낮은 견적은 덤이고, 훨씬 높은 견적이라면 요구 사항 목록에서 그 이유가 나와야 합니다.
문의는 어떻게 보내나요?
BroadNet API 레퍼런스는 이렇게 말합니다. “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(번역: 전용 엔드포인트, 아랍어 파인튜닝 모델, 기타 문의 시 제공 모델은 엔드포인트와 함께 발급되는 비공개 ID로 접근합니다.) 개요 페이지는 “your model, languages and traffic requirements”(번역: 모델, 언어, 트래픽 요구 사항)를 알려 달라고 합니다. 한 페이지 요약서를 API 키나 고객 데이터 없이 문의 페이지로 보내세요. 규모 산정 결과, 리전, 모델과 라이선스, 목표 지연 시간, 예산 상한, 일정을 포함하세요.
받은 엔드포인트는 어떻게 검증하나요?
프로덕션 트래픽을 보내기 전에, 합의한 내용대로 엔드포인트를 테스트하세요. 이 스크립트는 Python 표준 라이브러리만 씁니다. 비공개 모델 ID가 작동하는지, 스트리밍이 BroadNet 문서에 나온 data: [DONE] 표시로 끝나는지, 합의한 동시성에서 429 없이 실행되는지, 잘못된 모델 ID가 거부되는지 확인합니다.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
동시 요청 8개를 허용하는 로컬 모의 서버(실제 엔드포인트 아님)에 대해 실행했습니다. AGREED_CONCURRENCY=8에서는 네 가지 검사가 모두 통과했습니다. 12로 하면 동시성 검사가 200 여덟 개와 429 네 개로 실패했는데, 이는 출시 후가 아니라 출시 전에 보고 싶은 결과입니다. max_tokens=1000은 답하기 전에 예산 일부를 쓰는 추론 모델을 위한 여유입니다.
스모크 테스트 후에는 측정한 피크 수준에서 실제 크기의 프롬프트로 짧은 부하 테스트를 돌리고, 엔드포인트의 첫 토큰까지의 시간과 전체 답변 지연 시간을 기록하세요. 요청 ID도 보관하세요. BroadNet 문서는 지원 요청 시 X-Request-ID, 타임스탬프, 경로, 상태를 요구합니다.
BroadNet Inference는 어디에 맞나요?
BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference는 공개 모델에 대한 셀프서비스 이용을 토큰, 오디오 분, 세션 플랜, 시간제 키 단위로 판매하며, 가격은 가격 페이지에 있습니다. 전용 엔드포인트, 지역 처리, 파인튜닝 모델, “on request”(문의 시 제공)로 표시된 모델은 셀프서비스가 아닙니다. BroadNet이 견적을 내고 서면으로 합의하는 문의 대상입니다. 이 글은 BroadNet이 여러분의 워크로드에 무엇을 제안할지 알려 줄 수 없습니다. 분명한 요약서가 그것을 알아내는 방법입니다.
