BroadRouter

LLM 자체 호스팅 vs API: 실제 비용과 손익분기점

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

임대한 GPU는 바쁘든 놀든 시간당 비용이 같으므로, 자체 호스팅이 API보다 싸지려면 가동률이 높고 꾸준해야 합니다. 시간당 가격을 서버가 실제로 시간당 생성하는 토큰 수로 나누고, 엔지니어링과 온콜 시간을 더한 뒤, API의 100만 토큰당 가격과 비교하세요. 트래픽이 들쭉날쭉하거나 많지 않다면 거의 항상 API가 유리합니다.

“직접 돌리면 돈이 절약될 것”이라는 말은 LLM 비용 계획에서 가장 흔한 주장이면서, 가장 검증되지 않는 주장 중 하나입니다. 계산은 어렵지 않습니다. 다만 사람들이 잘못 짐작하는 변수 하나(가동률)와 빠뜨리는 비용 하나(인력)가 있습니다. 이 글은 공식, 실제 임대 가격, 그리고 여러분의 숫자로 직접 계산해 보는 방법을 제공합니다.

지금 GPU 임대 비용은 얼마인가요?

공식 가격 페이지의 시간당 가격이며, 2026-11-14(RunPod)와 2026-11-16(Lambda)에 확인했습니다. 여기서 한 달은 730시간입니다.

GPU 제공업체와 등급(2026-11-14 확인) GPU 시간당 상시 가동 시 월 비용
H100 SXM RunPod Secure Cloud USD 4.39 약 USD 3,205
H100 SXM RunPod Community Cloud USD 2.69 약 USD 1,964
H100 PCIe RunPod Secure Cloud USD 2.89 약 USD 2,110
H200 RunPod Secure Cloud USD 5.29 약 USD 3,862
A100 80GB SXM RunPod Secure Cloud USD 2.19 약 USD 1,599
L40S RunPod Secure Cloud USD 1.09 약 USD 796
H100 SXM Lambda 온디맨드, GPU 1~8개 (2026-11-16부터 적용, 2026-11-16 확인) USD 4.59~4.89 약 USD 3,351~3,570

Lambda 페이지(2026-11-16 확인)에 따르면 이 가격은 2026-11-16 00:00 UTC부터 적용되며, 노드가 클수록 GPU당 요금이 내려가 8-GPU 노드에서는 USD 4.59입니다. RunPod Community Cloud 요금은 호스트에 따라 달라지는 “부터” 가격입니다. Secure Cloud와 Community Cloud는 서로 다른 호스팅 등급이므로, 데이터 처리 규정이 있다면 등급별 조건을 읽어 보세요. 많은 모델은 GPU가 하나로는 부족합니다. Secure Cloud 요금으로 8-GPU H100 노드를 쓰면 월 약 USD 25,638입니다.

자체 호스팅의 100만 토큰당 비용은 어떻게 계산하나요?

GPU는 배칭 중인 모든 요청을 합쳐 일정한 총 속도로 토큰을 생성합니다. 토큰당 비용은 시간당 가격을 실제로 생성한 토큰에 나눠 매긴 값입니다.

100만 토큰당 비용 = 시간당 가격 ÷ (총 초당 토큰 수 × 3,600 ÷ 1,000,000) ÷ 가동률

가동률은 GPU가 그 속도로 유용한 작업을 하는 시간의 비율입니다. 가정한 숫자로 계산한 예시입니다(벤치마크가 아니므로 자신의 모델로 직접 측정하세요).

  • GPU: Community Cloud의 H100 SXM 1개, 시간당 USD 2.69.
  • 가정한 총 출력: 배칭이 잘 될 때 초당 1,500토큰.
  • 최대 부하에서 시간당 토큰: 1,500 × 3,600 = 540만.
가동률 실질 시간당 토큰 출력 토큰 100만 개당 비용
100%(항상 포화) 5.4M USD 0.50
50% 2.7M USD 1.00
25%(업무 시간에만 바쁨) 1.35M USD 1.99
10%(들쭉날쭉한 서비스 트래픽) 0.54M USD 4.98

이제 API의 출력 토큰 100만 개당 가격과 비교하세요. LLM API 가격표에서 같은 오픈 웨이트 모델에 수십 곳의 호스트가 받는 가격을 볼 수 있습니다. BroadNet Inference에서 DeepSeek V4.1 Flash는 출력 100만 토큰당 $0.52, Gemma 4 VL 26B는 $0.22 가격입니다. 자체 호스팅 비용이 API 가격 아래로 떨어지는 행을 찾으세요. 그것이 손익분기 가동률입니다. 이 예시는 입력 토큰을 무시했는데, 입력 토큰도 GPU 시간(프리필)을 쓰므로 실제 자체 호스팅 비용은 표보다 높습니다.

손익분기점에 도달하려면 월 몇 토큰이 필요한가요?

거꾸로 계산해 봅시다. 켜 둔 GPU는 사용량과 상관없이 월 가격만큼 비용이 듭니다. API 비용은 토큰 수 × 가격입니다. 손익분기 사용량은 다음과 같습니다.

손익분기 월 토큰 수 = 월 GPU 비용 ÷ API의 100만 토큰당 가격 × 1,000,000

Community Cloud H100 1개(월 약 USD 1,964)를 출력 100만 토큰당 $0.52 가격과 비교한다면, 1,964를 그 가격으로 나누면 GPU가 본전을 뽑기 전에 대체해야 하는 월 출력 토큰 수(100만 단위)가 나옵니다. 에이전트처럼 입력 비중이 큰 워크로드라면 입력과 출력을 합친 혼합 가격으로 같은 계산을 하세요. 혼합 방법은 정액제 vs 토큰당 과금 글에 있습니다.

그리고 그 GPU가 실제로 모델을 서빙할 수 있어야 합니다. 모델에 GPU 4개가 필요하다면 나누기 전에 월 비용에 4를 곱하세요.

사람들이 빠뜨리는 비용은 무엇인가요?

비용 포함 내용 계산 방법
엔지니어링 초기 구축 서빙 엔진, 양자화 선택, 오토스케일링, 부하 테스트 일회성 시간 × 시간당 단가
지속 운영 업그레이드, 드라이버와 엔진 업데이트, 모델 교체 월 시간 × 시간당 단가
온콜 노드가 죽으면 누군가 일어나야 함 온콜 정책에 따라
이중화 한 대가 고장 나도 장애가 되지 않도록 두 번째 노드 GPU 비용이 두 배
유휴 여유 용량 최대 부하를 위해 켜 두어야 하는 용량 가동률을 낮춤
평가 전환 전에 새 모델 버전 점검 릴리스당 시간

답을 가장 크게 바꾸는 것은 이중화입니다. GPU 하나는 단일 장애 지점입니다. GPU를 두 개로 늘리면 가동률이 하룻밤 사이에 절반이 됩니다. 업그레이드마다 따라오는 평가 작업은 전환 전에 모델 평가하기를 참고하세요.

자체 호스팅이 맞는 선택인 경우는 언제인가요?

  • 꾸준하고 많은 사용량. GPU를 24시간 포화 상태로 유지하는 배치 파이프라인.
  • 데이터가 내부 네트워크에 머물러야 할 때. 비용 논리가 아니라 절대적인 요건입니다. 먼저 데이터 비보관 API가 규정을 충족하는지 확인하세요.
  • 어떤 API도 제공하지 않는 모델. 직접 파인튜닝한 모델이나 틈새 오픈 웨이트 모델.
  • 용량 보장. API 속도 제한으로는 얻을 수 없는 처리량이 필요할 때.

그 밖의 경우, 특히 들쭉날쭉한 트래픽, 초기 제품, 몰아서 실행되는 에이전트라면 API가 더 싸고 온콜 당번도 필요 없습니다.

GPU와 토큰당 과금 사이에 정액 옵션이 있나요?

GPU 임대와 토큰당 결제 사이에는 중간 지대가 있습니다. BroadNet은 Gemma 4 VL 26B용 시간제 키를 시간당 $0.50 요금으로 판매하며(스트림 1개, 분당 요청 120개, 분당 토큰 300,000개), 한 달 내내 쓰면 $360.00 금액입니다. 또 DeepSeek V4.1 Flash용 무제한 플랜 세션을 월 $60 요금으로 판매하며, 세션마다 한 번에 요청 1개를 초당 약 100토큰 속도로 처리합니다. 이 옵션들은 임대 GPU처럼 예측 가능한 청구서를 주면서도 구축이나 운영이 필요 없지만, GPU 한 대의 배치 용량 전체가 아니라 키나 세션당 고정된 동시 처리 수를 제공합니다.

BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 이 비교에서 API 쪽입니다. 오픈 웨이트 모델(일부는 미국 추론 파트너가 호스팅)을 OpenAI 호환 API로 제공하며, 토큰당 가격, 정액 플랜, 시간제 키가 있습니다. 임대 GPU를 하루 대부분 놀리게 될 트래픽을 가진 팀이나, 추론 인프라를 직접 운영하고 싶지 않은 팀에 맞습니다. 커스텀 파인튜닝 모델 서빙, 온프레미스 배포, 키 하나로 병렬 요청 수백 개가 필요하다면 맞지 않습니다. LLM API 비용 계산기로 숫자를 넣어 보고 위 표와 비교하세요. 아직 오픈 모델과 비공개 모델 사이에서 고민 중이라면 오픈 웨이트 vs 비공개 모델 API 비용에서 각 제공업체 페이지 기준의 토큰당 가격을 비교합니다. 자체 호스팅 vs API 계산기는 직접 측정한 처리량과 이 GPU 가격으로 손익분기 계산 전체를 해 줍니다.

자주 묻는 질문

LLM은 API를 쓰는 것보다 자체 호스팅하는 게 더 싼가요?

사용량이 많고 꾸준할 때만 그렇습니다. 임대한 GPU는 매시간 과금되고, API는 쓴 토큰만큼만 과금됩니다. GPU가 하루 대부분 놀게 된다면 엔지니어링 시간을 따지기 전부터 API가 더 쌉니다.

H100을 시간당 빌리는 비용은 얼마인가요?

2026-11-14 RunPod 가격 페이지 기준으로 H100 SXM은 Secure Cloud에서 시간당 USD 4.39, Community Cloud에서 USD 2.69부터였습니다. Lambda는 2026-11-16부터 적용된 가격으로 온디맨드 H100 SXM을 노드 크기에 따라 GPU 시간당 USD 4.59~4.89로 표시합니다. 현재 요금은 각 페이지에서 확인하세요.

대형 모델을 자체 호스팅하려면 GPU가 몇 개 필요한가요?

최소한 가중치와 동시 요청에 필요한 KV 캐시를 담을 메모리가 있어야 합니다. 대형 전문가 혼합(MoE) 모델은 보통 멀티 GPU 노드가 필요합니다. 파라미터 수와 권장 구성은 모델 카드에서 확인하세요.

비용이 더 들더라도 자체 호스팅이 맞는 경우는 언제인가요?

데이터가 내부 네트워크를 벗어날 수 없을 때, 어떤 API도 제공하지 않는 파인튜닝 모델이나 커스텀 모델이 필요할 때, 용량을 보장받아야 할 때입니다. 이는 비용이 아니라 통제를 위한 이유입니다.

내 GPU의 실제 처리량은 어떻게 측정하나요?

vLLM이나 SGLang 같은 서빙 엔진으로 실제 프롬프트를 실제 동시 요청 수로 실행하고, 모든 요청을 합친 초당 총 출력 토큰 수를 기록하세요. 공급업체가 내세우는 최대 수치는 이상적인 배칭을 전제로 합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기