---
title: "GPU hardware at serving ng BroadNet, ayon sa BroadNet"
description: "Ang sinasabi ng BroadNet tungkol sa hardware sa likod ng BroadNet Inference: tatlong GPU tier mula B300 hanggang appliance, throughput kada GPU at aral ng test."
url: https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (na-update noong 2026-11-16).

# GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet

Ng BroadNet Inference team · 5 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Sabi ng BroadNet, iisang serving stack ang pinapatakbo nito sa tatlong hardware tier: data-center GPU mula A100 hanggang B300, isang workstation tier ng mga RTX at DGX Spark card na nagdadala ng laging bukas na public API, at mga appliance sa site ng kliyente. Iniuulat nito ang mga 270 model na napatakbo sa 13 GPU family, NVIDIA at AMD. May ilang API model na sine-serve ng mga US inference partner sa halip.

## Mga pangunahing punto

-   Tatlong tier, iisang stack: data center (B300, B200, H200, H100, A100), workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700) at site ng kliyente.
-   Sabi ng BroadNet, ang workstation tier ang nagdadala ng laging bukas na public API; ang mga data-center GPU ang humahawak ng flagship serving, fine-tuning at private endpoint.
-   Ang nasukat nitong natuklasan: halos doble ang memory bandwidth na nagagawang token ng NVIDIA CUDA kumpara sa AMD ROCm sa parehong mga model.
-   Kasinghalaga ng weights ang serving: ayon sa BroadNet, 0.13 na mas mababa ang score ng parehong Gemma 4 26B weights sa isang hosted provider kaysa sa tinatawag nitong sariling serving.
-   Hindi lahat ng API model ay tumatakbo sa hardware na sinasabi ng BroadNet na sarili nito: sabi ng terms ng BroadNet, partner-hosted ang DeepSeek V4.1 Flash.

**Sa page na ito**

1.  Anong hardware ang sinasabi ng BroadNet na pinapatakbo nito?
2.  Aling mga API model ang tumatakbo rito?
3.  Gaano kabilis ang bawat GPU?
4.  Ano raw ang itinuro ng hardware sa BroadNet?
5.  Paano sine-serve ang Gemma 4 model?
6.  Ano ang ibig sabihin nito para sa iyo?

Hindi pangkaraniwan ang detalye ng paglalarawan ng BroadNet sa inference hardware nito. Inililista ng [model catalogue](https://www.broadnet.ai/inference/models) nito ang mga GPU na sinasabi nitong pinapatakbo nito, ang nasukat na throughput kada card, at ang natutunan nito sa pagpapatakbo ng parehong mga model sa mga iyon. Binubuod ng page na ito ang sinasabi ng BroadNet, sa sarili nitong mga salita kung saan mahalaga. Hindi namin nasuri ang hardware, at sariling sukat ng BroadNet ang mga measurement, mula Setyembre 2026.

## Anong hardware ang sinasabi ng BroadNet na pinapatakbo nito?

Sabi ng BroadNet, “one fleet, three tiers, one stack” (salin: iisang fleet, tatlong tier, iisang stack) ang pinapatakbo nito: parehong mga engine, quantisation at gateway mula sa mga data-center accelerator hanggang sa mga appliance sa site ng kliyente.

| Tier | Mga GPU na inililista ng BroadNet | Pinaggagamitan ng BroadNet |
| --- | --- | --- |
| Data center | B300, B200, H200, H100, A100 80 GB | Flagship serving, quantisation at calibration, fine-tuning, dedicated na private endpoint, placement para sa data residency |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Ang laging bukas na public API, benchmarking sa CUDA at ROCm, model development |
| Site ng kliyente | DGX Spark GB10, compact na AMD appliance | On-premise at air-gapped na deployment sa kaparehong stack |

Sa kabuuan, iniuulat ng BroadNet ang mga 270 model na napatakbo, mga 200 checkpoint na na-load, mga 40 model family, 12 o higit pang quantisation format at 13 GPU family. Sinasabi rin nito na “a single H100 serves the entire current public catalogue with headroom” (salin: kayang i-serve ng iisang H100 ang buong kasalukuyang public catalogue nang may sobra pang puwang).

## Aling mga API model ang tumatakbo rito?

Hindi lahat. Ayon sa [privacy statement](https://www.broadnet.ai/inference-privacy) ng BroadNet, tumatakbo ang sarili nitong mga model at ang mga open-weight model na hino-host nito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup, at tumatakbo ang mga model na sine-serve ng partner sa ilalim ng zero-data-retention na terms sa mga US inference partner. Pinapangalanan ng [Terms of Service](https://www.broadnet.ai/terms) nito ang [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) bilang partner-hosted.

Ang sinasabi ng sariling mga page ng BroadNet kada model:

| Model sa API | Hardware na binabanggit ng BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) | Mga NVIDIA Blackwell-class GPU na may hot backup |
| [Transcribe Arabic](https://broadrouter.com/fil/models/cohere-transcribe-arabic/) at [Transcribe](https://broadrouter.com/fil/models/cohere-transcribe/) | Mga NVIDIA GPU na pinapatakbo ng BroadNet sa United States |
| DeepSeek V4.1 Flash | Partner-hosted (Terms of Service §7.3) |
| GLM 5.3, Qwen3.8 27B | Hindi sinabi para sa API traffic |

Kung mahalaga sa iyo kung saan pinoproseso ang data mo, tanungin muna ang BroadNet bago ito ipadala. Sabi ng inference page nito, available kapag hiniling ang regional processing sa MENA o Europe.

## Gaano kabilis ang bawat GPU?

Naglalathala ang BroadNet ng aggregate output throughput kada GPU para sa isang model, Qwen3-VL 30B A3B Instruct sa 32 sabay-sabay na request:

| GPU | Tier | Memory bandwidth | Aggregate token/s |
| --- | --- | --- | --- |
| B300 | Data center | 8,000 GB/s | 14,500 |
| B200 | Data center | 8,000 GB/s | 14,000 |
| H200 | Data center | 4,800 GB/s | 8,400 |
| H100 | Data center | 3,350 GB/s | 5,800 |
| A100 80 GB | Data center | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | Workstation | 1,792 GB/s | 3,100 |
| RTX 3090 | Workstation | 936 GB/s | 1,630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1,087 |

Paalala ng BroadNet na ang mga numero sa data center ay “planning numbers from our measured per-GPU curve” (salin: mga numerong pang-planning mula sa nasukat naming per-GPU curve), hindi direktang sukat sa bawat card. Tumataas ang karamihan ng row kasabay ng memory bandwidth, na karaniwang limit sa decoding, pero hindi lahat: halos pumapantay ang DGX Spark GB10 (273 GB/s) sa RTX 3090 (936 GB/s), at nasa likod ng dalawa ang Radeon AI PRO R9700 (640 GB/s).

## Ano raw ang itinuro ng hardware sa BroadNet?

Inililista ng catalogue ang walong natuklasan, bawat isa may markang “measured on our own hardware” (salin: sinukat sa sarili naming hardware). Ito ang pinakamahalaga para sa mga bumibili ng API:

-   **CUDA vs ROCm.** Sa pagpapatakbo ng parehong mga model sa NVIDIA CUDA at AMD ROCm, halos doble ang memory bandwidth na nagawang token ng CUDA, kaya inilalagay ng BroadNet ang mga workload ayon dito.
-   **Speculative decoding sa ilalim ng load.** Nabawasan ng EAGLE3 ang throughput nang 69% sa 32 sabay-sabay na request, kaya pinanatili ng BroadNet ang mga multi-token-prediction drafter. Sinusukat ng [Uno serving study](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/) nito ang parehong epekto para sa ibang paraan.
-   **Kasinghalaga ng weights ang serving.** Ang parehong Gemma 4 26B weights na sine-serve ng isang hosted provider ay 0.13 na mas mababa ang score sa karaniwan kaysa sa tinatawag ng BroadNet na “our own serving” (salin: sarili naming serving). Patakaran ng BroadNet: panatilihin ang challenger at ang baseline nito sa parehong serving bago sila ihambing.
-   **Puwedeng manalo ang mas maliit na active model.** Tinalo ng 26B mixture of experts ang dense na Gemma 4 31B sa 5 sa 6 na pipeline step gamit ang mga ikawalo lang ng active parameter.
-   **Kapantay ng frontier sa iisang pipeline.** Sa blind evaluation ng 240 trace, tumapat ang sine-serve na Gemma 4 ng BroadNet sa Claude Sonnet sa lima sa anim na nasukat na step, na 1.2 hanggang 6.5 beses na mas mabilis ang response kada step.
-   **Bilis kada request.** Tumakbo ang Qwen3-VL 30B A3B sa 36.5 hanggang 110 token kada segundo kada request sa inilalarawan ng BroadNet bilang sarili nitong serving, ayon sa sukat ng BroadNet, kumpara sa 7 hanggang 19 sa apat na OpenRouter provider na sinukat ng BroadNet.
-   **Mas mahalaga ang architecture kaysa sa pagpili ng model.** Sa mahirap na set kung saan hindi nagkasundo ang dalawang lokal na vision model, ang pag-escalate sa hosted na adjudicator ay nagpaangat ng accuracy mula 1 sa 12 tungong 11 sa 12.

Ang paghahambing sa Sonnet ang pinakamalakas na claim, at makitid ito: chatbot pipeline ng iisang kompanya, hinusgahan nang blind ng tatlong judge, sa 240 production na usapan mula sa 11 tenant, ayon sa [Gemma 4 page](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) ng BroadNet. Hindi ibig sabihin nito na kapantay ng Gemma 4 ang Sonnet sa pangkalahatan. Hindi pa naglalathala ang BroadNet ng buong write-up ng evaluation na iyon sa research page nito.

## Paano sine-serve ang Gemma 4 model?

Ang Gemma 4 VL 26B ng BroadNet ang pinakamalinaw na halimbawa ng mga pinili nito sa serving, ayon sa model page nito:

-   **Weights:** Gemma 4 26B A4B ng Google, na-quantise ng BroadNet sa 4-bit AWQ. Tinest ng BroadNet ang NVFP4 at itinigil ito pagkatapos ng head-to-head.
-   **Decoding:** multi-token-prediction speculative decoding na may dalawang drafted na token (k=2), at fp8 na [KV cache](https://broadrouter.com/fil/glossary/kv-cache/).
-   **Template:** chat template na inayos ng BroadNet para sa conversational na workflow nito.
-   **Resilience:** hot backup na may awtomatikong failover.
-   **Resulta:** mga 136 token kada segundo sa iisang stream, at 90.86 sa internal na quality battery ng BroadNet.

Tingnan ang [quantisation](https://broadrouter.com/fil/glossary/quantization/) at [speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/) para sa mga termino.

## Ano ang ibig sabihin nito para sa iyo?

Para sa pay-as-you-go na user, lumalabas ang mga pinili ng BroadNet sa serving bilang ang nakalathalang bilis, mga 100 token bawat segundo na karaniwan sa plan model, at sa mga limit: 30 request kada minuto at 4 na sabay-sabay kada key. Sabi ng terms ng BroadNet, walang availability commitment ang self-serve; may service level lang kapag may nakasulat na kasunduan. [Paano ikinukumpara ang SLA ng ibang provider](https://broadrouter.com/fil/blog/llm-api-sla-uptime-compared/).

Para sa mas malalaking pangangailangan, nag-aalok ang BroadNet ng private endpoint sa naka-reserve na GPU, na may sarili mong model, key, limit at region, at on-premise na appliance sa parehong stack. Kung tinitimbang mo iyan laban sa pag-upa ng sarili mong GPU, dinadaanan ng [gabay namin sa self-hosting vs API cost](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/) ang kuwenta, at ipinapakita ng [mga model na tinanggihan ng BroadNet](https://broadrouter.com/fil/blog/models-broadnet-ruled-out/) kung paano nito pinili ang ise-serve.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/)

Ang speculative decoding ay inference technique kung saan nagmumungkahi ang isang maliit at mabilis na draft model ng ilang susunod na token, at sabay-sabay itong bine-verify ng malaking target model sa iisang forward pass, saka pinapanatili ang mga tinanggap. Pinapabilis nito ang generation nang hindi binabago ang distribution ng output.

[Throughput](https://broadrouter.com/fil/glossary/throughput/)

Ang throughput, sa LLM serving, ay ang kabuuang trabahong natatapos ng isang system kada yunit ng oras sa lahat ng sabay-sabay na request, kadalasang sinusukat bilang output tokens per second o requests per second. Iba ito sa bilis kada stream, na kung gaano kabilis natatanggap ng iisang request ang mga token nito.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[AWQ (activation-aware weight quantization)](https://broadrouter.com/fil/glossary/awq/)

Ang AWQ (activation-aware weight quantization) ay post-training method na nagko-compress sa weights ng LLM sa mababang precision, kadalasang 4-bit integers. Gumagamit ito ng activation statistics mula sa maliit na calibration set para hanapin ang pinakamahalagang weight channels at i-scale ang mga ito para mas kaunti ang mawalang accuracy. Hindi nito kailangan ng backpropagation.

[Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/)

Ang open-weight model ay machine learning model na inilathala ang trained weights para i-download at patakbuhin ng kahit sino, kadalasan sa ilalim ng lisensyang may kondisyon. Iba ito sa ganap na open-source AI, na naglalabas din ng training code at detalyadong impormasyon tungkol sa training data para mapag-aralan at ma-reproduce ng iba ang model.

## Mga tanong

### May sariling GPU ba ang BroadNet?

Sabi ng BroadNet, nagpapatakbo ito ng sarili nitong fleet ng NVIDIA at AMD GPU. Ayon sa privacy statement nito, tumatakbo ang sarili nitong mga model at ang mga open-weight model na hino-host nito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup. Tumatakbo sa mga US inference partner ang mga model na sine-serve ng partner, gaya ng DeepSeek V4.1 Flash.

### Aling GPU ang nagse-serve ng public API?

Inilalagay ng catalogue ng BroadNet ang "the always-on public API" (salin: ang laging bukas na public API) sa workstation tier nito (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Binabanggit ng Gemma 4 page nito ang mga NVIDIA Blackwell-class GPU na may hot backup.

### May nakalathalang uptime SLA ba?

Wala para sa self-serve. Sabi ng Terms of Service ng BroadNet, walang availability commitment ang self-serve, at umiiral lang ang service level sa hiwalay na nakasulat na kasunduan, gaya ng para sa private endpoint.

### Puwede ba akong makakuha ng dedicated GPU?

Oo. Nag-aalok ang BroadNet ng private endpoint sa naka-reserve na GPU o node, na ikaw ang pipili ng model, may sarili kang key at limit, at nasa region na kailangan mo. Ayon sa traffic mo ang presyo, kapag hiniling.

### Kaya bang magpatakbo ng BroadNet ng model sa sarili kong lugar?

Sabi ng BroadNet, pinapatakbo ng client-site tier nito ang parehong stack sa DGX Spark GB10 at compact na AMD appliance para sa on-premise at air-gapped na deployment.

## Magbasa pa

-   [Mga model na sinubukan at tinanggihan ng BroadNet, at bakit](https://broadrouter.com/fil/blog/models-broadnet-ruled-out/)
-   [Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/)
-   [Uno sa Gemma 4 26B: ang mixture-of-experts na pag-aaral ng BroadNet](https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Self-hosting ng LLM vs API: ang tunay na gastos at break-even](https://broadrouter.com/fil/blog/self-hosting-llm-vs-api-cost/)
-   [LLM latency: TTFT vs tokens per second vs end-to-end na oras](https://broadrouter.com/fil/blog/llm-latency-ttft-throughput/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gawing bahagi ng document AI workflow mo ang human review](https://broadrouter.com/fil/blog/document-review-queues/)
-   [Gabay: Subukan ang BroadNet Inference sa browser, walang account](https://broadrouter.com/fil/guides/try-broadnet-inference-playground/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Mga source**

-   [Model catalogue ng BroadNet: capacity, throughput kada GPU at mga natuklasan sa hardware (sinukat noong Setyembre 2026; kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models)
-   [Model page ng BroadNet Gemma 4 VL 26B: serving configuration at blind evaluation (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Privacy statement ng BroadNet Inference: kung saan nangyayari ang processing (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference-privacy)
-   [Terms of Service ng BroadNet, §7.3 at §7.4: partner hosting at availability (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/terms)
-   [BroadNet Research: mga bukas na natuklasan mula sa lab nito (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/research)
