---
title: "BroadNet GPU 하드웨어와 LLM 서빙: 공개된 내용 정리 | BroadRouter"
description: "BroadNet Inference를 받치는 하드웨어에 대해 BroadNet이 밝힌 내용입니다. B300부터 고객사 어플라이언스까지 3개 GPU 계층, GPU별 처리량, 테스트에서 얻은 교훈을 정리했습니다."
url: https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (2026-11-16 업데이트).

# BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용

BroadNet Inference 팀 · 5분 분량 · 게시 2026-11-15 · 업데이트 2026-11-16

BroadNet에 따르면 서빙 스택 하나를 세 가지 하드웨어 계층에서 운영합니다. A100부터 B300까지의 데이터센터 GPU, 상시 가동되는 공개 API를 담당하는 RTX·DGX Spark 워크스테이션 계층, 고객사 현장의 어플라이언스입니다. NVIDIA와 AMD를 합쳐 13개 GPU 계열에서 약 270개 모델을 실행했다고 보고합니다. 일부 API 모델은 대신 미국 추론 파트너가 서빙합니다.

## 핵심 요약

-   세 계층, 하나의 스택: 데이터센터(B300, B200, H200, H100, A100), 워크스테이션(RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700), 고객사 현장.
-   BroadNet에 따르면 워크스테이션 계층이 상시 가동되는 공개 API를 담당하고, 데이터센터 GPU는 플래그십 서빙, 파인튜닝, 전용 엔드포인트를 맡습니다.
-   측정 결과: 같은 모델에서 NVIDIA CUDA는 AMD ROCm보다 메모리 대역폭을 약 두 배 더 토큰으로 바꿉니다.
-   서빙은 가중치만큼 중요합니다. 같은 Gemma 4 26B 가중치가 호스팅 제공업체에서는 BroadNet이 자체 서빙이라고 부르는 환경보다 0.13 낮은 점수를 받았다고 BroadNet은 보고합니다.
-   모든 API 모델이 BroadNet이 자체 하드웨어라고 밝힌 곳에서 돌아가지는 않습니다. BroadNet 약관에 따르면 DeepSeek V4.1 Flash는 파트너가 호스팅합니다.

**이 페이지의 내용**

1.  BroadNet은 어떤 하드웨어를 운영한다고 밝히나요?
2.  어떤 API 모델이 이 하드웨어에서 실행되나요?
3.  GPU별 속도는 어느 정도인가요?
4.  BroadNet은 하드웨어에서 무엇을 배웠다고 하나요?
5.  Gemma 4 모델은 어떻게 서빙되나요?
6.  사용자에게는 어떤 의미인가요?

BroadNet은 추론 하드웨어를 이례적으로 자세하게 공개합니다. [모델 카탈로그](https://www.broadnet.ai/inference/models)에는 운영한다고 밝힌 GPU, 카드별로 측정한 처리량, 같은 모델을 여러 GPU에서 실행하며 얻은 교훈이 나와 있습니다. 이 페이지는 BroadNet이 밝힌 내용을 요약하며, 중요한 부분은 BroadNet의 표현을 그대로 옮깁니다. 저희가 하드웨어를 직접 확인하지는 않았으며, 측정값은 2026년 9월 BroadNet 자체 측정입니다.

## BroadNet은 어떤 하드웨어를 운영한다고 밝히나요?

BroadNet은 “one fleet, three tiers, one stack”(번역: 하나의 플릿, 세 계층, 하나의 스택)을 운영한다고 말합니다. 데이터센터 가속기부터 고객사 현장의 어플라이언스까지 같은 엔진, 양자화, 게이트웨이를 쓴다는 뜻입니다.

| 계층 | BroadNet이 밝힌 GPU | BroadNet의 용도 |
| --- | --- | --- |
| 데이터센터 | B300, B200, H200, H100, A100 80 GB | 플래그십 서빙, 양자화와 보정, 파인튜닝, 전용 엔드포인트, 데이터 레지던시 배치 |
| 워크스테이션 | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | 상시 가동 공개 API, CUDA·ROCm 벤치마크, 모델 개발 |
| 고객사 현장 | DGX Spark GB10, 소형 AMD 어플라이언스 | 동일한 스택의 온프레미스 및 에어갭 배포 |

BroadNet은 전체적으로 약 270개 모델 실행, 약 200개 체크포인트 로드, 약 40개 모델 계열, 12개 이상의 양자화 형식, 13개 GPU 계열을 보고합니다. 또한 “a single H100 serves the entire current public catalogue with headroom”(번역: H100 한 장으로 현재 공개 카탈로그 전체를 여유 있게 서빙합니다)이라고 말합니다.

## 어떤 API 모델이 이 하드웨어에서 실행되나요?

전부는 아닙니다. BroadNet의 [개인정보 처리방침](https://www.broadnet.ai/inference-privacy)에 따르면 자체 모델과 BroadNet이 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며 파트너 용량을 백업으로 두고, 파트너가 서빙하는 모델은 미국 추론 파트너에서 데이터 비보관 조건으로 실행됩니다. [서비스 약관](https://www.broadnet.ai/terms)은 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)를 파트너 호스팅 모델로 명시합니다.

BroadNet 자체 페이지에 모델별로 나온 내용입니다.

| API 모델 | BroadNet이 밝힌 하드웨어 |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) | 핫 백업을 갖춘 NVIDIA Blackwell급 GPU |
| [Transcribe Arabic](https://broadrouter.com/ko/models/cohere-transcribe-arabic/)과 [Transcribe](https://broadrouter.com/ko/models/cohere-transcribe/) | BroadNet이 미국에서 운영하는 NVIDIA GPU |
| DeepSeek V4.1 Flash | 파트너 호스팅(서비스 약관 §7.3) |
| GLM 5.3, Qwen3.8 27B | API 트래픽에 대해서는 명시되지 않음 |

데이터가 어디서 처리되는지가 중요하다면 보내기 전에 BroadNet에 문의하세요. 추론 페이지에 따르면 MENA나 유럽 리전 처리는 문의 시 제공됩니다.

## GPU별 속도는 어느 정도인가요?

BroadNet은 모델 하나, Qwen3-VL 30B A3B Instruct를 동시 요청 32개로 실행했을 때의 GPU별 합산 출력 처리량을 공개합니다.

| GPU | 계층 | 메모리 대역폭 | 합산 토큰/초 |
| --- | --- | --- | --- |
| B300 | 데이터센터 | 8,000 GB/s | 14,500 |
| B200 | 데이터센터 | 8,000 GB/s | 14,000 |
| H200 | 데이터센터 | 4,800 GB/s | 8,400 |
| H100 | 데이터센터 | 3,350 GB/s | 5,800 |
| A100 80 GB | 데이터센터 | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | 워크스테이션 | 1,792 GB/s | 3,100 |
| RTX 3090 | 워크스테이션 | 936 GB/s | 1,630 |
| DGX Spark GB10 | 워크스테이션 | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | 워크스테이션 | 640 GB/s | 1,087 |

BroadNet은 데이터센터 수치가 카드마다 직접 측정한 값이 아니라 “planning numbers from our measured per-GPU curve”(번역: 측정한 GPU별 곡선에서 도출한 계획용 수치)라고 밝힙니다. 대부분의 행은 디코딩에서 흔한 병목인 메모리 대역폭에 따라 올라가지만, 모두 그렇지는 않습니다. DGX Spark GB10(273 GB/s)은 RTX 3090(936 GB/s)과 거의 같고, Radeon AI PRO R9700(640 GB/s)은 둘 다보다 뒤처집니다.

## BroadNet은 하드웨어에서 무엇을 배웠다고 하나요?

카탈로그에는 “measured on our own hardware”(번역: 자체 하드웨어에서 측정)라고 표시된 결과 여덟 가지가 나와 있습니다. API 구매자에게 가장 중요한 것은 다음과 같습니다.

-   **CUDA와 ROCm.** 같은 모델을 NVIDIA CUDA와 AMD ROCm에서 실행했을 때 CUDA가 메모리 대역폭을 약 두 배 더 토큰으로 바꿨고, BroadNet은 이에 맞춰 워크로드를 배치합니다.
-   **부하 상태의 추측 디코딩.** EAGLE3는 동시 요청 32개에서 처리량의 69%를 잃었기 때문에, BroadNet은 다중 토큰 예측(MTP) 드래프터를 유지했습니다. [Uno 서빙 연구](https://broadrouter.com/ko/blog/uno-in-vllm-serving-study/)는 다른 방법에서 같은 효과를 측정합니다.
-   **서빙은 가중치만큼 중요합니다.** 같은 Gemma 4 26B 가중치를 호스팅 제공업체가 서빙했을 때 BroadNet이 “our own serving”(번역: 자체 서빙)이라고 부르는 환경보다 평균 0.13 낮은 점수를 받았습니다. BroadNet의 원칙은 도전 모델과 기준 모델을 같은 서빙 환경에 두고 비교하는 것입니다.
-   **활성 파라미터가 작은 모델이 이길 수 있습니다.** 26B 전문가 혼합 모델은 활성 파라미터가 약 8분의 1이면서도 밀집 모델인 Gemma 4 31B를 파이프라인 6단계 중 5단계에서 앞섰습니다.
-   **한 파이프라인에서 프런티어 모델과 동등.** 트레이스 240개의 블라인드 평가에서 BroadNet이 서빙한 Gemma 4는 측정한 6단계 중 5단계에서 Claude Sonnet과 대등했고, 단계별 응답은 1.2~6.5배 빨랐습니다.
-   **요청당 속도.** BroadNet 측정에 따르면 Qwen3-VL 30B A3B는 BroadNet이 자체 서빙이라고 설명하는 환경에서 요청당 초당 36.5~110토큰으로 실행되었고, BroadNet이 측정한 OpenRouter 제공업체 네 곳에서는 7~19토큰이었습니다.
-   **아키텍처가 모델 선택보다 중요합니다.** 로컬 비전 모델 두 개의 판단이 엇갈린 어려운 세트에서, 호스팅된 판정 모델로 넘기자 정확도가 12개 중 1개에서 12개 중 11개로 올라갔습니다.

Sonnet 비교가 가장 강한 주장이지만 범위는 좁습니다. BroadNet [Gemma 4 페이지](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)에 따르면, 한 회사의 챗봇 파이프라인을 테넌트 11곳의 실제 운영 대화 240개로 심사자 세 명이 블라인드 평가한 결과입니다. Gemma 4가 일반적으로 Sonnet과 대등하다는 뜻은 아닙니다. BroadNet은 연구 페이지에 이 평가의 전체 보고서를 공개하지 않았습니다.

## Gemma 4 모델은 어떻게 서빙되나요?

모델 페이지에 따르면 BroadNet의 Gemma 4 VL 26B는 서빙 선택을 가장 잘 보여 주는 사례입니다.

-   **가중치:** Google의 Gemma 4 26B A4B를 BroadNet이 4비트 AWQ로 양자화했습니다. BroadNet은 NVFP4도 테스트했지만 직접 비교 후 폐기했습니다.
-   **디코딩:** 드래프트 토큰 2개(k=2)의 다중 토큰 예측 추측 디코딩과 fp8 [KV 캐시](https://broadrouter.com/ko/glossary/kv-cache/).
-   **템플릿:** BroadNet이 대화형 워크플로에 맞춰 조정한 채팅 템플릿.
-   **복원력:** 자동 장애 조치를 갖춘 핫 백업.
-   **결과:** 단일 스트림에서 초당 약 136토큰, BroadNet 내부 품질 테스트에서 90.86점.

용어는 [양자화](https://broadrouter.com/ko/glossary/quantization/)와 [추측 디코딩](https://broadrouter.com/ko/glossary/speculative-decoding/)을 참고하세요.

## 사용자에게는 어떤 의미인가요?

종량제 사용자에게 BroadNet의 서빙 선택은 공개된 속도(플랜 모델 기준 일반적으로 초당 약 100토큰)와 한도(키당 분당 요청 30개, 동시 처리 요청 4개)로 나타납니다. BroadNet 약관에 따르면 셀프서비스에는 가용성 약정이 없으며, 서비스 수준은 서면 계약이 있을 때만 적용됩니다. [다른 제공업체의 SLA 비교](https://broadrouter.com/ko/blog/llm-api-sla-uptime-compared/)를 참고하세요.

더 큰 수요에는 BroadNet이 예약 GPU 기반 전용 엔드포인트(모델, 키, 한도, 리전 선택)와 같은 스택의 온프레미스 어플라이언스를 제공합니다. 직접 GPU를 임차하는 것과 비교하고 있다면 [자체 호스팅과 API 비용 가이드](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)에서 계산해 볼 수 있으며, [BroadNet이 탈락시킨 모델](https://broadrouter.com/ko/blog/models-broadnet-ruled-out/)은 BroadNet이 서빙할 모델을 어떻게 골랐는지 보여 줍니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[데이터 레지던시(data residency)](https://broadrouter.com/ko/glossary/data-residency/)

데이터 레지던시(data residency)는 데이터를 특정 국가나 지역 안에서 저장하고 처리해야 한다는 요건 또는 약속입니다. LLM API에서는 추론 중 프롬프트가 처리되는 위치와 저장된 콘텐츠가 있는 위치를 다루며, 계정과 결제 데이터는 제외되는 경우가 많습니다.

[데이터 비보관(Zero data retention, ZDR)](https://broadrouter.com/ko/glossary/zero-data-retention/)

데이터 비보관(ZDR)은 AI 제공업체가 프롬프트와 출력을 요청 처리에만 사용하고, 처리 후에는 그 내용을 로그, 캐시, 학습 데이터 어디에도 저장하지 않는 데이터 처리 정책입니다. 토큰 수나 처리 시간처럼 내용이 없는 기록은 보통 계속 보관됩니다.

[비전-언어 모델(VLM)](https://broadrouter.com/ko/glossary/vision-language-model/)

비전-언어 모델(VLM)은 이미지와 텍스트를 함께 입력받아 텍스트를 출력하는 모델입니다. 그래서 그림을 설명하고, 그림에 관한 질문에 답하고, 문서, 차트, 스크린샷을 읽을 수 있습니다. VLM은 image-text-to-text 모델 또는 멀티모달 모델이라고도 합니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[양자화(quantization)](https://broadrouter.com/ko/glossary/quantization/)

양자화(quantization)는 신경망의 숫자, 주로 가중치를 16비트 대신 8비트나 4비트 같은 낮은 정밀도 형식으로 저장해, 모델이 메모리를 덜 쓰고 대개 더 빠르게 실행되도록 하는 과정입니다. 좋은 방법은 정확도 손실을 작게 유지합니다.

[오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/)

오픈 웨이트 모델은 학습된 가중치를 공개해 누구나 내려받아 실행할 수 있게 한 머신러닝 모델로, 보통 조건이 붙은 라이선스로 배포됩니다. 학습 코드와 학습 데이터에 대한 상세한 정보까지 공개해 다른 사람이 모델을 연구하고 재현할 수 있게 하는 완전한 오픈 소스 AI와는 다릅니다.

## 자주 묻는 질문

### BroadNet은 자체 GPU를 운영하나요?

BroadNet은 자체 NVIDIA 및 AMD GPU 플릿을 운영한다고 밝힙니다. 개인정보 처리방침에 따르면 자체 모델과 BroadNet이 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며, 파트너 용량을 백업으로 둡니다. DeepSeek V4.1 Flash처럼 파트너가 서빙하는 모델은 미국 추론 파트너에서 실행됩니다.

### 공개 API는 어떤 GPU에서 서빙되나요?

BroadNet 카탈로그는 "the always-on public API"(상시 가동 공개 API)를 워크스테이션 계층(RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700)에 둡니다. Gemma 4 페이지는 핫 백업을 갖춘 NVIDIA Blackwell급 GPU를 명시합니다.

### 공개된 가동 시간 SLA가 있나요?

셀프서비스에는 없습니다. BroadNet 서비스 약관에 따르면 셀프서비스에는 가용성 약정이 없으며, 서비스 수준은 전용 엔드포인트 계약처럼 별도의 서면 계약이 있을 때만 적용됩니다.

### 전용 GPU를 받을 수 있나요?

네. BroadNet은 예약된 GPU나 노드에서 원하는 모델, 자체 키와 한도, 필요한 리전으로 전용 엔드포인트를 제공합니다. 가격은 트래픽에 맞춰 문의 시 제공됩니다.

### BroadNet이 우리 회사 현장에서 모델을 실행할 수 있나요?

BroadNet에 따르면 고객사 현장 계층은 온프레미스 및 에어갭 배포를 위해 DGX Spark GB10과 소형 AMD 어플라이언스에서 같은 스택을 실행합니다.

## 이어서 읽기

-   [BroadNet이 평가 후 탈락시킨 모델과 그 이유](https://broadrouter.com/ko/blog/models-broadnet-ruled-out/)
-   [vLLM의 Uno: BroadNet 서빙 연구가 측정한 것](https://broadrouter.com/ko/blog/uno-in-vllm-serving-study/)
-   [Gemma 4 26B에 적용한 Uno: BroadNet의 전문가 혼합(MoE) 연구](https://broadrouter.com/ko/blog/uno-mixture-of-experts-gemma-4-study/)
-   [LLM 자체 호스팅 vs API: 실제 비용과 손익분기점](https://broadrouter.com/ko/blog/self-hosting-llm-vs-api-cost/)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [문서 AI 워크플로에 사람의 검토 단계 넣기](https://broadrouter.com/ko/blog/document-review-queues/)
-   [가이드: 계정 없이 브라우저에서 BroadNet Inference 체험하기](https://broadrouter.com/ko/guides/try-broadnet-inference-playground/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**출처**

-   [BroadNet 모델 카탈로그: 용량, GPU별 처리량, 하드웨어 관련 결과(2026년 9월 측정, 2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models)
-   [BroadNet Gemma 4 VL 26B 모델 페이지: 서빙 구성과 블라인드 평가(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet Inference 개인정보 처리방침: 처리 위치(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference-privacy)
-   [BroadNet 서비스 약관 §7.3, §7.4: 파트너 호스팅과 가용성(2026-11-15 확인) (영어)](https://www.broadnet.ai/terms)
-   [BroadNet Research: 연구소의 공개 결과(2026-11-15 확인) (영어)](https://www.broadnet.ai/research)
