BroadNet은 추론 하드웨어를 이례적으로 자세하게 공개합니다. 모델 카탈로그에는 운영한다고 밝힌 GPU, 카드별로 측정한 처리량, 같은 모델을 여러 GPU에서 실행하며 얻은 교훈이 나와 있습니다. 이 페이지는 BroadNet이 밝힌 내용을 요약하며, 중요한 부분은 BroadNet의 표현을 그대로 옮깁니다. 저희가 하드웨어를 직접 확인하지는 않았으며, 측정값은 2026년 9월 BroadNet 자체 측정입니다.
BroadNet은 어떤 하드웨어를 운영한다고 밝히나요?
BroadNet은 “one fleet, three tiers, one stack”(번역: 하나의 플릿, 세 계층, 하나의 스택)을 운영한다고 말합니다. 데이터센터 가속기부터 고객사 현장의 어플라이언스까지 같은 엔진, 양자화, 게이트웨이를 쓴다는 뜻입니다.
| 계층 | BroadNet이 밝힌 GPU | BroadNet의 용도 |
|---|---|---|
| 데이터센터 | B300, B200, H200, H100, A100 80 GB | 플래그십 서빙, 양자화와 보정, 파인튜닝, 전용 엔드포인트, 데이터 레지던시 배치 |
| 워크스테이션 | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | 상시 가동 공개 API, CUDA·ROCm 벤치마크, 모델 개발 |
| 고객사 현장 | DGX Spark GB10, 소형 AMD 어플라이언스 | 동일한 스택의 온프레미스 및 에어갭 배포 |
BroadNet은 전체적으로 약 270개 모델 실행, 약 200개 체크포인트 로드, 약 40개 모델 계열, 12개 이상의 양자화 형식, 13개 GPU 계열을 보고합니다. 또한 “a single H100 serves the entire current public catalogue with headroom”(번역: H100 한 장으로 현재 공개 카탈로그 전체를 여유 있게 서빙합니다)이라고 말합니다.
어떤 API 모델이 이 하드웨어에서 실행되나요?
전부는 아닙니다. BroadNet의 개인정보 처리방침에 따르면 자체 모델과 BroadNet이 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며 파트너 용량을 백업으로 두고, 파트너가 서빙하는 모델은 미국 추론 파트너에서 데이터 비보관 조건으로 실행됩니다. 서비스 약관은 DeepSeek V4.1 Flash를 파트너 호스팅 모델로 명시합니다.
BroadNet 자체 페이지에 모델별로 나온 내용입니다.
| API 모델 | BroadNet이 밝힌 하드웨어 |
|---|---|
| Gemma 4 VL 26B | 핫 백업을 갖춘 NVIDIA Blackwell급 GPU |
| Transcribe Arabic과 Transcribe | BroadNet이 미국에서 운영하는 NVIDIA GPU |
| DeepSeek V4.1 Flash | 파트너 호스팅(서비스 약관 §7.3) |
| GLM 5.3, Qwen3.8 27B | API 트래픽에 대해서는 명시되지 않음 |
데이터가 어디서 처리되는지가 중요하다면 보내기 전에 BroadNet에 문의하세요. 추론 페이지에 따르면 MENA나 유럽 리전 처리는 문의 시 제공됩니다.
GPU별 속도는 어느 정도인가요?
BroadNet은 모델 하나, Qwen3-VL 30B A3B Instruct를 동시 요청 32개로 실행했을 때의 GPU별 합산 출력 처리량을 공개합니다.
| GPU | 계층 | 메모리 대역폭 | 합산 토큰/초 |
|---|---|---|---|
| B300 | 데이터센터 | 8,000 GB/s | 14,500 |
| B200 | 데이터센터 | 8,000 GB/s | 14,000 |
| H200 | 데이터센터 | 4,800 GB/s | 8,400 |
| H100 | 데이터센터 | 3,350 GB/s | 5,800 |
| A100 80 GB | 데이터센터 | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | 워크스테이션 | 1,792 GB/s | 3,100 |
| RTX 3090 | 워크스테이션 | 936 GB/s | 1,630 |
| DGX Spark GB10 | 워크스테이션 | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | 워크스테이션 | 640 GB/s | 1,087 |
BroadNet은 데이터센터 수치가 카드마다 직접 측정한 값이 아니라 “planning numbers from our measured per-GPU curve”(번역: 측정한 GPU별 곡선에서 도출한 계획용 수치)라고 밝힙니다. 대부분의 행은 디코딩에서 흔한 병목인 메모리 대역폭에 따라 올라가지만, 모두 그렇지는 않습니다. DGX Spark GB10(273 GB/s)은 RTX 3090(936 GB/s)과 거의 같고, Radeon AI PRO R9700(640 GB/s)은 둘 다보다 뒤처집니다.
BroadNet은 하드웨어에서 무엇을 배웠다고 하나요?
카탈로그에는 “measured on our own hardware”(번역: 자체 하드웨어에서 측정)라고 표시된 결과 여덟 가지가 나와 있습니다. API 구매자에게 가장 중요한 것은 다음과 같습니다.
- CUDA와 ROCm. 같은 모델을 NVIDIA CUDA와 AMD ROCm에서 실행했을 때 CUDA가 메모리 대역폭을 약 두 배 더 토큰으로 바꿨고, BroadNet은 이에 맞춰 워크로드를 배치합니다.
- 부하 상태의 추측 디코딩. EAGLE3는 동시 요청 32개에서 처리량의 69%를 잃었기 때문에, BroadNet은 다중 토큰 예측(MTP) 드래프터를 유지했습니다. Uno 서빙 연구는 다른 방법에서 같은 효과를 측정합니다.
- 서빙은 가중치만큼 중요합니다. 같은 Gemma 4 26B 가중치를 호스팅 제공업체가 서빙했을 때 BroadNet이 “our own serving”(번역: 자체 서빙)이라고 부르는 환경보다 평균 0.13 낮은 점수를 받았습니다. BroadNet의 원칙은 도전 모델과 기준 모델을 같은 서빙 환경에 두고 비교하는 것입니다.
- 활성 파라미터가 작은 모델이 이길 수 있습니다. 26B 전문가 혼합 모델은 활성 파라미터가 약 8분의 1이면서도 밀집 모델인 Gemma 4 31B를 파이프라인 6단계 중 5단계에서 앞섰습니다.
- 한 파이프라인에서 프런티어 모델과 동등. 트레이스 240개의 블라인드 평가에서 BroadNet이 서빙한 Gemma 4는 측정한 6단계 중 5단계에서 Claude Sonnet과 대등했고, 단계별 응답은 1.2~6.5배 빨랐습니다.
- 요청당 속도. BroadNet 측정에 따르면 Qwen3-VL 30B A3B는 BroadNet이 자체 서빙이라고 설명하는 환경에서 요청당 초당 36.5
110토큰으로 실행되었고, BroadNet이 측정한 OpenRouter 제공업체 네 곳에서는 719토큰이었습니다. - 아키텍처가 모델 선택보다 중요합니다. 로컬 비전 모델 두 개의 판단이 엇갈린 어려운 세트에서, 호스팅된 판정 모델로 넘기자 정확도가 12개 중 1개에서 12개 중 11개로 올라갔습니다.
Sonnet 비교가 가장 강한 주장이지만 범위는 좁습니다. BroadNet Gemma 4 페이지에 따르면, 한 회사의 챗봇 파이프라인을 테넌트 11곳의 실제 운영 대화 240개로 심사자 세 명이 블라인드 평가한 결과입니다. Gemma 4가 일반적으로 Sonnet과 대등하다는 뜻은 아닙니다. BroadNet은 연구 페이지에 이 평가의 전체 보고서를 공개하지 않았습니다.
Gemma 4 모델은 어떻게 서빙되나요?
모델 페이지에 따르면 BroadNet의 Gemma 4 VL 26B는 서빙 선택을 가장 잘 보여 주는 사례입니다.
- 가중치: Google의 Gemma 4 26B A4B를 BroadNet이 4비트 AWQ로 양자화했습니다. BroadNet은 NVFP4도 테스트했지만 직접 비교 후 폐기했습니다.
- 디코딩: 드래프트 토큰 2개(k=2)의 다중 토큰 예측 추측 디코딩과 fp8 KV 캐시.
- 템플릿: BroadNet이 대화형 워크플로에 맞춰 조정한 채팅 템플릿.
- 복원력: 자동 장애 조치를 갖춘 핫 백업.
- 결과: 단일 스트림에서 초당 약 136토큰, BroadNet 내부 품질 테스트에서 90.86점.
사용자에게는 어떤 의미인가요?
종량제 사용자에게 BroadNet의 서빙 선택은 공개된 속도(플랜 모델 기준 일반적으로 초당 약 100토큰)와 한도(키당 분당 요청 30개, 동시 처리 요청 4개)로 나타납니다. BroadNet 약관에 따르면 셀프서비스에는 가용성 약정이 없으며, 서비스 수준은 서면 계약이 있을 때만 적용됩니다. 다른 제공업체의 SLA 비교를 참고하세요.
더 큰 수요에는 BroadNet이 예약 GPU 기반 전용 엔드포인트(모델, 키, 한도, 리전 선택)와 같은 스택의 온프레미스 어플라이언스를 제공합니다. 직접 GPU를 임차하는 것과 비교하고 있다면 자체 호스팅과 API 비용 가이드에서 계산해 볼 수 있으며, BroadNet이 탈락시킨 모델은 BroadNet이 서빙할 모델을 어떻게 골랐는지 보여 줍니다.
