“직접 돌리면 돈이 절약될 것”이라는 말은 LLM 비용 계획에서 가장 흔한 주장이면서, 가장 검증되지 않는 주장 중 하나입니다. 계산은 어렵지 않습니다. 다만 사람들이 잘못 짐작하는 변수 하나(가동률)와 빠뜨리는 비용 하나(인력)가 있습니다. 이 글은 공식, 실제 임대 가격, 그리고 여러분의 숫자로 직접 계산해 보는 방법을 제공합니다.
지금 GPU 임대 비용은 얼마인가요?
공식 가격 페이지의 시간당 가격이며, 2026-11-14(RunPod)와 2026-11-16(Lambda)에 확인했습니다. 여기서 한 달은 730시간입니다.
| GPU | 제공업체와 등급(2026-11-14 확인) | GPU 시간당 | 상시 가동 시 월 비용 |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | USD 4.39 | 약 USD 3,205 |
| H100 SXM | RunPod Community Cloud | USD 2.69 | 약 USD 1,964 |
| H100 PCIe | RunPod Secure Cloud | USD 2.89 | 약 USD 2,110 |
| H200 | RunPod Secure Cloud | USD 5.29 | 약 USD 3,862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2.19 | 약 USD 1,599 |
| L40S | RunPod Secure Cloud | USD 1.09 | 약 USD 796 |
| H100 SXM | Lambda 온디맨드, GPU 1~8개 (2026-11-16부터 적용, 2026-11-16 확인) | USD 4.59~4.89 | 약 USD 3,351~3,570 |
Lambda 페이지(2026-11-16 확인)에 따르면 이 가격은 2026-11-16 00:00 UTC부터 적용되며, 노드가 클수록 GPU당 요금이 내려가 8-GPU 노드에서는 USD 4.59입니다. RunPod Community Cloud 요금은 호스트에 따라 달라지는 “부터” 가격입니다. Secure Cloud와 Community Cloud는 서로 다른 호스팅 등급이므로, 데이터 처리 규정이 있다면 등급별 조건을 읽어 보세요. 많은 모델은 GPU가 하나로는 부족합니다. Secure Cloud 요금으로 8-GPU H100 노드를 쓰면 월 약 USD 25,638입니다.
자체 호스팅의 100만 토큰당 비용은 어떻게 계산하나요?
GPU는 배칭 중인 모든 요청을 합쳐 일정한 총 속도로 토큰을 생성합니다. 토큰당 비용은 시간당 가격을 실제로 생성한 토큰에 나눠 매긴 값입니다.
100만 토큰당 비용 = 시간당 가격 ÷ (총 초당 토큰 수 × 3,600 ÷ 1,000,000) ÷ 가동률
가동률은 GPU가 그 속도로 유용한 작업을 하는 시간의 비율입니다. 가정한 숫자로 계산한 예시입니다(벤치마크가 아니므로 자신의 모델로 직접 측정하세요).
- GPU: Community Cloud의 H100 SXM 1개, 시간당 USD 2.69.
- 가정한 총 출력: 배칭이 잘 될 때 초당 1,500토큰.
- 최대 부하에서 시간당 토큰: 1,500 × 3,600 = 540만.
| 가동률 | 실질 시간당 토큰 | 출력 토큰 100만 개당 비용 |
|---|---|---|
| 100%(항상 포화) | 5.4M | USD 0.50 |
| 50% | 2.7M | USD 1.00 |
| 25%(업무 시간에만 바쁨) | 1.35M | USD 1.99 |
| 10%(들쭉날쭉한 서비스 트래픽) | 0.54M | USD 4.98 |
이제 API의 출력 토큰 100만 개당 가격과 비교하세요. LLM API 가격표에서 같은 오픈 웨이트 모델에 수십 곳의 호스트가 받는 가격을 볼 수 있습니다. BroadNet Inference에서 DeepSeek V4.1 Flash는 출력 100만 토큰당 $0.52, Gemma 4 VL 26B는 $0.22 가격입니다. 자체 호스팅 비용이 API 가격 아래로 떨어지는 행을 찾으세요. 그것이 손익분기 가동률입니다. 이 예시는 입력 토큰을 무시했는데, 입력 토큰도 GPU 시간(프리필)을 쓰므로 실제 자체 호스팅 비용은 표보다 높습니다.
손익분기점에 도달하려면 월 몇 토큰이 필요한가요?
거꾸로 계산해 봅시다. 켜 둔 GPU는 사용량과 상관없이 월 가격만큼 비용이 듭니다. API 비용은 토큰 수 × 가격입니다. 손익분기 사용량은 다음과 같습니다.
손익분기 월 토큰 수 = 월 GPU 비용 ÷ API의 100만 토큰당 가격 × 1,000,000
Community Cloud H100 1개(월 약 USD 1,964)를 출력 100만 토큰당 $0.52 가격과 비교한다면, 1,964를 그 가격으로 나누면 GPU가 본전을 뽑기 전에 대체해야 하는 월 출력 토큰 수(100만 단위)가 나옵니다. 에이전트처럼 입력 비중이 큰 워크로드라면 입력과 출력을 합친 혼합 가격으로 같은 계산을 하세요. 혼합 방법은 정액제 vs 토큰당 과금 글에 있습니다.
그리고 그 GPU가 실제로 모델을 서빙할 수 있어야 합니다. 모델에 GPU 4개가 필요하다면 나누기 전에 월 비용에 4를 곱하세요.
사람들이 빠뜨리는 비용은 무엇인가요?
| 비용 | 포함 내용 | 계산 방법 |
|---|---|---|
| 엔지니어링 초기 구축 | 서빙 엔진, 양자화 선택, 오토스케일링, 부하 테스트 | 일회성 시간 × 시간당 단가 |
| 지속 운영 | 업그레이드, 드라이버와 엔진 업데이트, 모델 교체 | 월 시간 × 시간당 단가 |
| 온콜 | 노드가 죽으면 누군가 일어나야 함 | 온콜 정책에 따라 |
| 이중화 | 한 대가 고장 나도 장애가 되지 않도록 두 번째 노드 | GPU 비용이 두 배 |
| 유휴 여유 용량 | 최대 부하를 위해 켜 두어야 하는 용량 | 가동률을 낮춤 |
| 평가 | 전환 전에 새 모델 버전 점검 | 릴리스당 시간 |
답을 가장 크게 바꾸는 것은 이중화입니다. GPU 하나는 단일 장애 지점입니다. GPU를 두 개로 늘리면 가동률이 하룻밤 사이에 절반이 됩니다. 업그레이드마다 따라오는 평가 작업은 전환 전에 모델 평가하기를 참고하세요.
자체 호스팅이 맞는 선택인 경우는 언제인가요?
- 꾸준하고 많은 사용량. GPU를 24시간 포화 상태로 유지하는 배치 파이프라인.
- 데이터가 내부 네트워크에 머물러야 할 때. 비용 논리가 아니라 절대적인 요건입니다. 먼저 데이터 비보관 API가 규정을 충족하는지 확인하세요.
- 어떤 API도 제공하지 않는 모델. 직접 파인튜닝한 모델이나 틈새 오픈 웨이트 모델.
- 용량 보장. API 속도 제한으로는 얻을 수 없는 처리량이 필요할 때.
그 밖의 경우, 특히 들쭉날쭉한 트래픽, 초기 제품, 몰아서 실행되는 에이전트라면 API가 더 싸고 온콜 당번도 필요 없습니다.
GPU와 토큰당 과금 사이에 정액 옵션이 있나요?
GPU 임대와 토큰당 결제 사이에는 중간 지대가 있습니다. BroadNet은 Gemma 4 VL 26B용 시간제 키를 시간당 $0.50 요금으로 판매하며(스트림 1개, 분당 요청 120개, 분당 토큰 300,000개), 한 달 내내 쓰면 $360.00 금액입니다. 또 DeepSeek V4.1 Flash용 무제한 플랜 세션을 월 $60 요금으로 판매하며, 세션마다 한 번에 요청 1개를 초당 약 100토큰 속도로 처리합니다. 이 옵션들은 임대 GPU처럼 예측 가능한 청구서를 주면서도 구축이나 운영이 필요 없지만, GPU 한 대의 배치 용량 전체가 아니라 키나 세션당 고정된 동시 처리 수를 제공합니다.
BroadNet Inference는 어디에 적합한가요?
BroadNet Inference는 이 비교에서 API 쪽입니다. 오픈 웨이트 모델(일부는 미국 추론 파트너가 호스팅)을 OpenAI 호환 API로 제공하며, 토큰당 가격, 정액 플랜, 시간제 키가 있습니다. 임대 GPU를 하루 대부분 놀리게 될 트래픽을 가진 팀이나, 추론 인프라를 직접 운영하고 싶지 않은 팀에 맞습니다. 커스텀 파인튜닝 모델 서빙, 온프레미스 배포, 키 하나로 병렬 요청 수백 개가 필요하다면 맞지 않습니다. LLM API 비용 계산기로 숫자를 넣어 보고 위 표와 비교하세요. 아직 오픈 모델과 비공개 모델 사이에서 고민 중이라면 오픈 웨이트 vs 비공개 모델 API 비용에서 각 제공업체 페이지 기준의 토큰당 가격을 비교합니다. 자체 호스팅 vs API 계산기는 직접 측정한 처리량과 이 GPU 가격으로 손익분기 계산 전체를 해 줍니다.
