BroadRouter

Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

BroadNet menyatakan menjalankan satu serving stack di tiga tier hardware: GPU data center dari A100 hingga B300, tier workstation berisi kartu RTX dan DGX Spark yang menopang API publik yang selalu aktif, serta appliance di lokasi klien. BroadNet melaporkan sekitar 270 model dijalankan di 13 keluarga GPU, NVIDIA dan AMD. Sebagian model API disajikan oleh partner inferensi di AS.

BroadNet menjelaskan hardware inferensinya dengan detail yang tidak biasa. Katalog modelnya mencantumkan GPU yang menurut BroadNet dijalankannya, throughput terukur per kartu, dan pelajaran yang didapat dari menjalankan model yang sama di kartu-kartu tersebut. Halaman ini merangkum apa yang dikatakan BroadNet, dengan kata-katanya sendiri di bagian yang penting. Kami belum memeriksa hardware-nya, dan pengukurannya adalah milik BroadNet sendiri, dari September 2026.

Hardware apa yang menurut BroadNet dijalankannya?

BroadNet menyatakan menjalankan “one fleet, three tiers, one stack” (Terjemahan BroadRouter: satu armada, tiga tier, satu stack): engine, kuantisasi, dan gateway yang sama, dari akselerator data center hingga appliance di lokasi klien.

Tier GPU yang dicantumkan BroadNet Kegunaannya menurut BroadNet
Data center B300, B200, H200, H100, A100 80 GB Serving model flagship, kuantisasi dan kalibrasi, fine-tuning, endpoint privat khusus, penempatan untuk kebutuhan residensi data
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 API publik yang selalu aktif, benchmark lintas CUDA dan ROCm, pengembangan model
Lokasi klien DGX Spark GB10, appliance AMD ringkas Deployment on-premise dan air-gapped di stack yang identik

Secara total BroadNet melaporkan sekitar 270 model dijalankan, sekitar 200 checkpoint dimuat, sekitar 40 keluarga model, 12 atau lebih format kuantisasi, dan 13 keluarga GPU. BroadNet juga menyatakan “a single H100 serves the entire current public catalogue with headroom” (Terjemahan BroadRouter: satu H100 menyajikan seluruh katalog publik saat ini dengan kapasitas tersisa).

Model API mana yang berjalan di hardware ini?

Tidak semuanya. Pernyataan privasi BroadNet menyebutkan model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas partner sebagai cadangan, dan bahwa model yang disajikan partner berjalan dengan ketentuan zero data retention di partner inferensi di AS. Ketentuan Layanan-nya menyebut DeepSeek V4.1 Flash sebagai model yang di-host partner.

Yang dikatakan halaman-halaman BroadNet sendiri per model:

Model di API Hardware yang disebut BroadNet
Gemma 4 VL 26B GPU kelas NVIDIA Blackwell dengan hot backup
Transcribe Arabic dan Transcribe GPU NVIDIA yang dioperasikan BroadNet di Amerika Serikat
DeepSeek V4.1 Flash Di-host partner (Ketentuan Layanan §7.3)
GLM 5.3, Qwen3.8 27B Tidak disebutkan untuk trafik API

Jika lokasi pemrosesan data Anda penting, tanyakan kepada BroadNet sebelum mengirimnya. Halaman inferensinya menyebutkan pemrosesan regional di MENA atau Eropa tersedia atas permintaan.

Seberapa cepat setiap GPU?

BroadNet menerbitkan throughput output agregat per GPU untuk satu model, Qwen3-VL 30B A3B Instruct pada 32 permintaan bersamaan:

GPU Tier Bandwidth memori Token/detik agregat
B300 Data center 8.000 GB/s 14.500
B200 Data center 8.000 GB/s 14.000
H200 Data center 4.800 GB/s 8.400
H100 Data center 3.350 GB/s 5.800
A100 80 GB Data center 2.039 GB/s 3.500
RTX PRO 6000 Blackwell Workstation 1.792 GB/s 3.100
RTX 3090 Workstation 936 GB/s 1.630
DGX Spark GB10 Workstation 273 GB/s 1.597
Radeon AI PRO R9700 Workstation 640 GB/s 1.087

BroadNet mencatat bahwa angka data center adalah “planning numbers from our measured per-GPU curve” (Terjemahan BroadRouter: angka perencanaan dari kurva per GPU yang kami ukur), bukan pengukuran langsung di setiap kartu. Sebagian besar baris naik seiring bandwidth memori, yang biasanya menjadi batas untuk decoding, tetapi tidak semuanya: DGX Spark GB10 (273 GB/s) hampir menyamai RTX 3090 (936 GB/s), dan Radeon AI PRO R9700 (640 GB/s) tertinggal dari keduanya.

Apa yang dipelajari BroadNet dari hardware-nya?

Katalog mencantumkan delapan temuan, masing-masing ditandai “measured on our own hardware” (Terjemahan BroadRouter: diukur di hardware kami sendiri). Yang paling penting bagi pembeli API:

  • CUDA vs ROCm. Saat model yang sama dijalankan di NVIDIA CUDA dan AMD ROCm, CUDA mengubah bandwidth memori menjadi token sekitar dua kali lipat lebih banyak, sehingga BroadNet menempatkan beban kerja sesuai temuan itu.
  • Speculative decoding di bawah beban. EAGLE3 memangkas 69% throughput pada 32 permintaan bersamaan, sehingga BroadNet tetap memakai drafter multi-token-prediction. Studi serving Uno mengukur efek yang sama untuk metode lain.
  • Serving sama pentingnya dengan bobot model. Bobot Gemma 4 26B yang sama, saat disajikan oleh penyedia hosted, rata-rata mendapat skor 0,13 lebih rendah dibanding apa yang BroadNet sebut “our own serving” (serving kami sendiri). Aturan BroadNet: tempatkan model penantang dan baseline-nya di serving yang sama sebelum membandingkannya.
  • Model aktif yang lebih kecil bisa menang. Mixture of experts 26B mengalahkan Gemma 4 31B dense di 5 dari 6 langkah pipeline dengan sekitar seperdelapan parameter aktifnya.
  • Setara model frontier pada satu pipeline. Dalam evaluasi buta terhadap 240 trace, Gemma 4 yang disajikan BroadNet menyamai Claude Sonnet di lima dari enam langkah yang diukur, dengan respons 1,2 hingga 6,5 kali lebih cepat per langkah.
  • Kecepatan per permintaan. Menurut pengukuran BroadNet, Qwen3-VL 30B A3B berjalan pada 36,5 hingga 110 token per detik per permintaan di serving yang BroadNet sebut sebagai miliknya sendiri, dibanding 7 hingga 19 di empat penyedia OpenRouter yang diukur BroadNet.
  • Arsitektur mengalahkan pilihan model. Pada set sulit di mana dua model vision lokal tidak sepakat, eskalasi ke adjudikator hosted menaikkan akurasi dari 1 dari 12 menjadi 11 dari 12.

Perbandingan dengan Sonnet adalah klaim terkuat, dan cakupannya sempit: satu pipeline chatbot milik satu perusahaan, dinilai secara buta oleh tiga juri, pada 240 percakapan produksi dari 11 tenant, menurut halaman Gemma 4 BroadNet. Ini tidak berarti Gemma 4 setara Sonnet secara umum. BroadNet belum menerbitkan laporan lengkap evaluasi tersebut di halaman risetnya.

Bagaimana model Gemma 4 disajikan?

Menurut halaman modelnya, Gemma 4 VL 26B milik BroadNet adalah contoh paling jelas dari pilihan serving-nya:

  • Bobot: Gemma 4 26B A4B dari Google, dikuantisasi BroadNet ke AWQ 4-bit. BroadNet menguji NVFP4 dan menghentikannya setelah perbandingan langsung.
  • Decoding: speculative decoding multi-token-prediction dengan dua token draf (k=2), dan KV cache fp8.
  • Template: template chat yang disetel BroadNet untuk alur kerja percakapannya.
  • Ketahanan: hot backup dengan failover otomatis.
  • Hasil: sekitar 136 token per detik pada satu stream, dan 90,86 pada rangkaian uji kualitas internal BroadNet.

Lihat kuantisasi dan speculative decoding untuk istilah-istilahnya.

Apa artinya bagi Anda?

Bagi pengguna bayar sesuai pemakaian, pilihan serving BroadNet terlihat pada kecepatan yang dipublikasikan, sekitar 100 token per detik secara umum pada model paket, dan pada batasnya: 30 permintaan per menit dan 4 permintaan bersamaan per kunci. Ketentuan BroadNet menyebutkan layanan swalayan tidak punya komitmen ketersediaan; tingkat layanan hanya tersedia lewat perjanjian tertulis. Perbandingan SLA penyedia lain.

Untuk kebutuhan yang lebih besar, BroadNet menawarkan endpoint privat di GPU yang dicadangkan, dengan model, kunci, batas, dan region Anda, serta appliance on-premise di stack yang sama. Jika Anda membandingkannya dengan menyewa GPU sendiri, panduan biaya self-hosting vs API kami menguraikan hitungannya, dan model-model yang dicoret BroadNet menunjukkan cara BroadNet memilih apa yang disajikan.

Pertanyaan umum

Apakah BroadNet menjalankan GPU sendiri?

BroadNet menyatakan mengoperasikan armada GPU NVIDIA dan AMD sendiri. Pernyataan privasinya menyebutkan model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas partner sebagai cadangan. Model yang disajikan partner, seperti DeepSeek V4.1 Flash, berjalan di partner inferensi di AS.

GPU mana yang menyajikan API publik?

Katalog BroadNet menempatkan "the always-on public API" (Terjemahan BroadRouter: API publik yang selalu aktif) di tier workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Halaman Gemma 4-nya menyebut GPU kelas NVIDIA Blackwell dengan hot backup.

Apakah ada SLA uptime yang dipublikasikan?

Tidak untuk layanan swalayan. Ketentuan Layanan BroadNet menyebutkan layanan swalayan tidak punya komitmen ketersediaan, dan tingkat layanan hanya ada dalam perjanjian tertulis terpisah, misalnya untuk endpoint privat.

Bisakah saya mendapatkan GPU khusus?

Bisa. BroadNet menawarkan endpoint privat di GPU atau node yang dicadangkan, dengan model pilihan Anda, kunci dan batas Anda sendiri, serta region yang Anda butuhkan. Harganya disesuaikan dengan trafik Anda atas permintaan.

Bisakah BroadNet menjalankan model di lokasi saya sendiri?

BroadNet menyatakan tier lokasi kliennya menjalankan stack yang sama di DGX Spark GB10 dan appliance AMD ringkas untuk deployment on-premise dan air-gapped.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity