---
title: "Hardware GPU dan serving BroadNet, menurut BroadNet | BroadRouter"
description: "Apa kata BroadNet tentang hardware di balik BroadNet Inference: tiga tier GPU dari B300 hingga appliance klien, throughput per GPU, dan pelajaran dari pengujiannya."
url: https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/) (diperbarui 2026-11-16).

# Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

BroadNet menyatakan menjalankan satu serving stack di tiga tier hardware: GPU data center dari A100 hingga B300, tier workstation berisi kartu RTX dan DGX Spark yang menopang API publik yang selalu aktif, serta appliance di lokasi klien. BroadNet melaporkan sekitar 270 model dijalankan di 13 keluarga GPU, NVIDIA dan AMD. Sebagian model API disajikan oleh partner inferensi di AS.

## Poin penting

-   Tiga tier, satu stack: data center (B300, B200, H200, H100, A100), workstation (RTX PRO 6000, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700), dan lokasi klien.
-   Menurut BroadNet, tier workstation menopang API publik yang selalu aktif; GPU data center menangani serving model flagship, fine-tuning, dan endpoint privat.
-   Temuan terukurnya: NVIDIA CUDA mengubah bandwidth memori menjadi token sekitar dua kali lipat lebih banyak daripada AMD ROCm pada model yang sama.
-   Serving sama pentingnya dengan bobot model: menurut laporan BroadNet, bobot Gemma 4 26B yang sama mendapat skor 0,13 lebih rendah di penyedia hosted dibanding apa yang disebutnya serving miliknya sendiri.
-   Tidak semua model API berjalan di hardware yang disebut BroadNet sebagai miliknya sendiri: ketentuan BroadNet menyebutkan DeepSeek V4.1 Flash di-host oleh partner.

**Di halaman ini**

1.  Hardware apa yang menurut BroadNet dijalankannya?
2.  Model API mana yang berjalan di hardware ini?
3.  Seberapa cepat setiap GPU?
4.  Apa yang dipelajari BroadNet dari hardware-nya?
5.  Bagaimana model Gemma 4 disajikan?
6.  Apa artinya bagi Anda?

BroadNet menjelaskan hardware inferensinya dengan detail yang tidak biasa. [Katalog modelnya](https://www.broadnet.ai/inference/models) mencantumkan GPU yang menurut BroadNet dijalankannya, throughput terukur per kartu, dan pelajaran yang didapat dari menjalankan model yang sama di kartu-kartu tersebut. Halaman ini merangkum apa yang dikatakan BroadNet, dengan kata-katanya sendiri di bagian yang penting. Kami belum memeriksa hardware-nya, dan pengukurannya adalah milik BroadNet sendiri, dari September 2026.

## Hardware apa yang menurut BroadNet dijalankannya?

BroadNet menyatakan menjalankan “one fleet, three tiers, one stack” (Terjemahan BroadRouter: satu armada, tiga tier, satu stack): engine, kuantisasi, dan gateway yang sama, dari akselerator data center hingga appliance di lokasi klien.

| Tier | GPU yang dicantumkan BroadNet | Kegunaannya menurut BroadNet |
| --- | --- | --- |
| Data center | B300, B200, H200, H100, A100 80 GB | Serving model flagship, kuantisasi dan kalibrasi, fine-tuning, endpoint privat khusus, penempatan untuk kebutuhan residensi data |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | API publik yang selalu aktif, benchmark lintas CUDA dan ROCm, pengembangan model |
| Lokasi klien | DGX Spark GB10, appliance AMD ringkas | Deployment on-premise dan air-gapped di stack yang identik |

Secara total BroadNet melaporkan sekitar 270 model dijalankan, sekitar 200 checkpoint dimuat, sekitar 40 keluarga model, 12 atau lebih format kuantisasi, dan 13 keluarga GPU. BroadNet juga menyatakan “a single H100 serves the entire current public catalogue with headroom” (Terjemahan BroadRouter: satu H100 menyajikan seluruh katalog publik saat ini dengan kapasitas tersisa).

## Model API mana yang berjalan di hardware ini?

Tidak semuanya. [Pernyataan privasi](https://www.broadnet.ai/inference-privacy) BroadNet menyebutkan model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas partner sebagai cadangan, dan bahwa model yang disajikan partner berjalan dengan ketentuan zero data retention di partner inferensi di AS. [Ketentuan Layanan](https://www.broadnet.ai/terms)\-nya menyebut [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) sebagai model yang di-host partner.

Yang dikatakan halaman-halaman BroadNet sendiri per model:

| Model di API | Hardware yang disebut BroadNet |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) | GPU kelas NVIDIA Blackwell dengan hot backup |
| [Transcribe Arabic](https://broadrouter.com/id/models/cohere-transcribe-arabic/) dan [Transcribe](https://broadrouter.com/id/models/cohere-transcribe/) | GPU NVIDIA yang dioperasikan BroadNet di Amerika Serikat |
| DeepSeek V4.1 Flash | Di-host partner (Ketentuan Layanan §7.3) |
| GLM 5.3, Qwen3.8 27B | Tidak disebutkan untuk trafik API |

Jika lokasi pemrosesan data Anda penting, tanyakan kepada BroadNet sebelum mengirimnya. Halaman inferensinya menyebutkan pemrosesan regional di MENA atau Eropa tersedia atas permintaan.

## Seberapa cepat setiap GPU?

BroadNet menerbitkan throughput output agregat per GPU untuk satu model, Qwen3-VL 30B A3B Instruct pada 32 permintaan bersamaan:

| GPU | Tier | Bandwidth memori | Token/detik agregat |
| --- | --- | --- | --- |
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |

BroadNet mencatat bahwa angka data center adalah “planning numbers from our measured per-GPU curve” (Terjemahan BroadRouter: angka perencanaan dari kurva per GPU yang kami ukur), bukan pengukuran langsung di setiap kartu. Sebagian besar baris naik seiring bandwidth memori, yang biasanya menjadi batas untuk decoding, tetapi tidak semuanya: DGX Spark GB10 (273 GB/s) hampir menyamai RTX 3090 (936 GB/s), dan Radeon AI PRO R9700 (640 GB/s) tertinggal dari keduanya.

## Apa yang dipelajari BroadNet dari hardware-nya?

Katalog mencantumkan delapan temuan, masing-masing ditandai “measured on our own hardware” (Terjemahan BroadRouter: diukur di hardware kami sendiri). Yang paling penting bagi pembeli API:

-   **CUDA vs ROCm.** Saat model yang sama dijalankan di NVIDIA CUDA dan AMD ROCm, CUDA mengubah bandwidth memori menjadi token sekitar dua kali lipat lebih banyak, sehingga BroadNet menempatkan beban kerja sesuai temuan itu.
-   **Speculative decoding di bawah beban.** EAGLE3 memangkas 69% throughput pada 32 permintaan bersamaan, sehingga BroadNet tetap memakai drafter multi-token-prediction. [Studi serving Uno](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/) mengukur efek yang sama untuk metode lain.
-   **Serving sama pentingnya dengan bobot model.** Bobot Gemma 4 26B yang sama, saat disajikan oleh penyedia hosted, rata-rata mendapat skor 0,13 lebih rendah dibanding apa yang BroadNet sebut “our own serving” (serving kami sendiri). Aturan BroadNet: tempatkan model penantang dan baseline-nya di serving yang sama sebelum membandingkannya.
-   **Model aktif yang lebih kecil bisa menang.** Mixture of experts 26B mengalahkan Gemma 4 31B dense di 5 dari 6 langkah pipeline dengan sekitar seperdelapan parameter aktifnya.
-   **Setara model frontier pada satu pipeline.** Dalam evaluasi buta terhadap 240 trace, Gemma 4 yang disajikan BroadNet menyamai Claude Sonnet di lima dari enam langkah yang diukur, dengan respons 1,2 hingga 6,5 kali lebih cepat per langkah.
-   **Kecepatan per permintaan.** Menurut pengukuran BroadNet, Qwen3-VL 30B A3B berjalan pada 36,5 hingga 110 token per detik per permintaan di serving yang BroadNet sebut sebagai miliknya sendiri, dibanding 7 hingga 19 di empat penyedia OpenRouter yang diukur BroadNet.
-   **Arsitektur mengalahkan pilihan model.** Pada set sulit di mana dua model vision lokal tidak sepakat, eskalasi ke adjudikator hosted menaikkan akurasi dari 1 dari 12 menjadi 11 dari 12.

Perbandingan dengan Sonnet adalah klaim terkuat, dan cakupannya sempit: satu pipeline chatbot milik satu perusahaan, dinilai secara buta oleh tiga juri, pada 240 percakapan produksi dari 11 tenant, menurut [halaman Gemma 4](https://www.broadnet.ai/inference/models/gemma-4-vl-26b) BroadNet. Ini tidak berarti Gemma 4 setara Sonnet secara umum. BroadNet belum menerbitkan laporan lengkap evaluasi tersebut di halaman risetnya.

## Bagaimana model Gemma 4 disajikan?

Menurut halaman modelnya, Gemma 4 VL 26B milik BroadNet adalah contoh paling jelas dari pilihan serving-nya:

-   **Bobot:** Gemma 4 26B A4B dari Google, dikuantisasi BroadNet ke AWQ 4-bit. BroadNet menguji NVFP4 dan menghentikannya setelah perbandingan langsung.
-   **Decoding:** speculative decoding multi-token-prediction dengan dua token draf (k=2), dan [KV cache](https://broadrouter.com/id/glossary/kv-cache/) fp8.
-   **Template:** template chat yang disetel BroadNet untuk alur kerja percakapannya.
-   **Ketahanan:** hot backup dengan failover otomatis.
-   **Hasil:** sekitar 136 token per detik pada satu stream, dan 90,86 pada rangkaian uji kualitas internal BroadNet.

Lihat [kuantisasi](https://broadrouter.com/id/glossary/quantization/) dan [speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/) untuk istilah-istilahnya.

## Apa artinya bagi Anda?

Bagi pengguna bayar sesuai pemakaian, pilihan serving BroadNet terlihat pada kecepatan yang dipublikasikan, sekitar 100 token per detik secara umum pada model paket, dan pada batasnya: 30 permintaan per menit dan 4 permintaan bersamaan per kunci. Ketentuan BroadNet menyebutkan layanan swalayan tidak punya komitmen ketersediaan; tingkat layanan hanya tersedia lewat perjanjian tertulis. [Perbandingan SLA penyedia lain](https://broadrouter.com/id/blog/llm-api-sla-uptime-compared/).

Untuk kebutuhan yang lebih besar, BroadNet menawarkan endpoint privat di GPU yang dicadangkan, dengan model, kunci, batas, dan region Anda, serta appliance on-premise di stack yang sama. Jika Anda membandingkannya dengan menyewa GPU sendiri, [panduan biaya self-hosting vs API](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) kami menguraikan hitungannya, dan [model-model yang dicoret BroadNet](https://broadrouter.com/id/blog/models-broadnet-ruled-out/) menunjukkan cara BroadNet memilih apa yang disajikan.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/)

Kuantisasi adalah proses menyimpan angka-angka jaringan saraf, terutama bobotnya, dalam format berpresisi lebih rendah seperti 8-bit atau 4-bit alih-alih 16-bit, sehingga model memakai lebih sedikit memori dan sering berjalan lebih cepat. Metode yang baik menjaga penurunan akurasi tetap kecil.

[Speculative decoding](https://broadrouter.com/id/glossary/speculative-decoding/)

Speculative decoding adalah teknik inferensi di mana model draft yang kecil dan cepat mengusulkan beberapa token berikutnya, lalu model target yang besar memverifikasinya dalam satu forward pass dan menyimpan token yang diterima. Teknik ini mempercepat generasi tanpa mengubah distribusi output.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Throughput](https://broadrouter.com/id/glossary/throughput/)

Throughput, dalam penyajian LLM, adalah jumlah total pekerjaan yang diselesaikan sebuah sistem per satuan waktu di semua permintaan yang berjalan bersamaan, biasanya diukur dalam token output per detik atau permintaan per detik. Ini berbeda dengan kecepatan per stream, yaitu seberapa cepat satu permintaan menerima token-tokennya.

[Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/)

Fine-tuning adalah proses melanjutkan pelatihan model bahasa yang sudah dilatih sebelumnya dengan dataset yang lebih kecil dan khusus tugas, seperti contoh percakapan, sehingga bobotnya berubah dan model menjalankan tugas atau gaya itu dengan lebih andal tanpa perlu instruksi panjang atau contoh di setiap prompt.

[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)

Model open-weight adalah model machine learning yang bobot hasil pelatihannya dipublikasikan agar bisa diunduh dan dijalankan siapa saja, biasanya di bawah lisensi dengan syarat tertentu. Model ini berbeda dari AI yang sepenuhnya open source, yang juga merilis kode pelatihan dan informasi rinci tentang data pelatihan agar orang lain bisa mempelajari dan mereproduksinya.

## Pertanyaan umum

### Apakah BroadNet menjalankan GPU sendiri?

BroadNet menyatakan mengoperasikan armada GPU NVIDIA dan AMD sendiri. Pernyataan privasinya menyebutkan model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas partner sebagai cadangan. Model yang disajikan partner, seperti DeepSeek V4.1 Flash, berjalan di partner inferensi di AS.

### GPU mana yang menyajikan API publik?

Katalog BroadNet menempatkan "the always-on public API" (Terjemahan BroadRouter: API publik yang selalu aktif) di tier workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Halaman Gemma 4-nya menyebut GPU kelas NVIDIA Blackwell dengan hot backup.

### Apakah ada SLA uptime yang dipublikasikan?

Tidak untuk layanan swalayan. Ketentuan Layanan BroadNet menyebutkan layanan swalayan tidak punya komitmen ketersediaan, dan tingkat layanan hanya ada dalam perjanjian tertulis terpisah, misalnya untuk endpoint privat.

### Bisakah saya mendapatkan GPU khusus?

Bisa. BroadNet menawarkan endpoint privat di GPU atau node yang dicadangkan, dengan model pilihan Anda, kunci dan batas Anda sendiri, serta region yang Anda butuhkan. Harganya disesuaikan dengan trafik Anda atas permintaan.

### Bisakah BroadNet menjalankan model di lokasi saya sendiri?

BroadNet menyatakan tier lokasi kliennya menjalankan stack yang sama di DGX Spark GB10 dan appliance AMD ringkas untuk deployment on-premise dan air-gapped.

## Baca juga

-   [Model yang dievaluasi lalu dicoret BroadNet, dan alasannya](https://broadrouter.com/id/blog/models-broadnet-ruled-out/)
-   [Uno di vLLM: apa yang diukur studi serving BroadNet](https://broadrouter.com/id/blog/uno-in-vllm-serving-study/)
-   [Uno di Gemma 4 26B: studi mixture-of-experts dari BroadNet](https://broadrouter.com/id/blog/uno-mixture-of-experts-gemma-4-study/)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Jadikan review manusia bagian dari workflow AI dokumen Anda](https://broadrouter.com/id/blog/document-review-queues/)
-   [Panduan: Coba BroadNet Inference di browser, tanpa akun](https://broadrouter.com/id/guides/try-broadnet-inference-playground/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**Sumber**

-   [Katalog model BroadNet: kapasitas, throughput per GPU, dan temuan hardware (diukur September 2026; diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
-   [Halaman model Gemma 4 VL 26B BroadNet: konfigurasi serving dan evaluasi buta (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [Pernyataan privasi BroadNet Inference: di mana pemrosesan dilakukan (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/inference-privacy)
-   [Ketentuan Layanan BroadNet, §7.3 dan §7.4: hosting oleh partner dan ketersediaan (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/terms)
-   [BroadNet Research: temuan terbuka dari lab-nya (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/research)
