BroadNet menjelaskan hardware inferensinya dengan detail yang tidak biasa. Katalog modelnya mencantumkan GPU yang menurut BroadNet dijalankannya, throughput terukur per kartu, dan pelajaran yang didapat dari menjalankan model yang sama di kartu-kartu tersebut. Halaman ini merangkum apa yang dikatakan BroadNet, dengan kata-katanya sendiri di bagian yang penting. Kami belum memeriksa hardware-nya, dan pengukurannya adalah milik BroadNet sendiri, dari September 2026.
Hardware apa yang menurut BroadNet dijalankannya?
BroadNet menyatakan menjalankan “one fleet, three tiers, one stack” (Terjemahan BroadRouter: satu armada, tiga tier, satu stack): engine, kuantisasi, dan gateway yang sama, dari akselerator data center hingga appliance di lokasi klien.
| Tier | GPU yang dicantumkan BroadNet | Kegunaannya menurut BroadNet |
|---|---|---|
| Data center | B300, B200, H200, H100, A100 80 GB | Serving model flagship, kuantisasi dan kalibrasi, fine-tuning, endpoint privat khusus, penempatan untuk kebutuhan residensi data |
| Workstation | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | API publik yang selalu aktif, benchmark lintas CUDA dan ROCm, pengembangan model |
| Lokasi klien | DGX Spark GB10, appliance AMD ringkas | Deployment on-premise dan air-gapped di stack yang identik |
Secara total BroadNet melaporkan sekitar 270 model dijalankan, sekitar 200 checkpoint dimuat, sekitar 40 keluarga model, 12 atau lebih format kuantisasi, dan 13 keluarga GPU. BroadNet juga menyatakan “a single H100 serves the entire current public catalogue with headroom” (Terjemahan BroadRouter: satu H100 menyajikan seluruh katalog publik saat ini dengan kapasitas tersisa).
Model API mana yang berjalan di hardware ini?
Tidak semuanya. Pernyataan privasi BroadNet menyebutkan model milik BroadNet dan model open-weight yang di-host-nya berjalan di hardware milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas partner sebagai cadangan, dan bahwa model yang disajikan partner berjalan dengan ketentuan zero data retention di partner inferensi di AS. Ketentuan Layanan-nya menyebut DeepSeek V4.1 Flash sebagai model yang di-host partner.
Yang dikatakan halaman-halaman BroadNet sendiri per model:
| Model di API | Hardware yang disebut BroadNet |
|---|---|
| Gemma 4 VL 26B | GPU kelas NVIDIA Blackwell dengan hot backup |
| Transcribe Arabic dan Transcribe | GPU NVIDIA yang dioperasikan BroadNet di Amerika Serikat |
| DeepSeek V4.1 Flash | Di-host partner (Ketentuan Layanan §7.3) |
| GLM 5.3, Qwen3.8 27B | Tidak disebutkan untuk trafik API |
Jika lokasi pemrosesan data Anda penting, tanyakan kepada BroadNet sebelum mengirimnya. Halaman inferensinya menyebutkan pemrosesan regional di MENA atau Eropa tersedia atas permintaan.
Seberapa cepat setiap GPU?
BroadNet menerbitkan throughput output agregat per GPU untuk satu model, Qwen3-VL 30B A3B Instruct pada 32 permintaan bersamaan:
| GPU | Tier | Bandwidth memori | Token/detik agregat |
|---|---|---|---|
| B300 | Data center | 8.000 GB/s | 14.500 |
| B200 | Data center | 8.000 GB/s | 14.000 |
| H200 | Data center | 4.800 GB/s | 8.400 |
| H100 | Data center | 3.350 GB/s | 5.800 |
| A100 80 GB | Data center | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | Workstation | 1.792 GB/s | 3.100 |
| RTX 3090 | Workstation | 936 GB/s | 1.630 |
| DGX Spark GB10 | Workstation | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | Workstation | 640 GB/s | 1.087 |
BroadNet mencatat bahwa angka data center adalah “planning numbers from our measured per-GPU curve” (Terjemahan BroadRouter: angka perencanaan dari kurva per GPU yang kami ukur), bukan pengukuran langsung di setiap kartu. Sebagian besar baris naik seiring bandwidth memori, yang biasanya menjadi batas untuk decoding, tetapi tidak semuanya: DGX Spark GB10 (273 GB/s) hampir menyamai RTX 3090 (936 GB/s), dan Radeon AI PRO R9700 (640 GB/s) tertinggal dari keduanya.
Apa yang dipelajari BroadNet dari hardware-nya?
Katalog mencantumkan delapan temuan, masing-masing ditandai “measured on our own hardware” (Terjemahan BroadRouter: diukur di hardware kami sendiri). Yang paling penting bagi pembeli API:
- CUDA vs ROCm. Saat model yang sama dijalankan di NVIDIA CUDA dan AMD ROCm, CUDA mengubah bandwidth memori menjadi token sekitar dua kali lipat lebih banyak, sehingga BroadNet menempatkan beban kerja sesuai temuan itu.
- Speculative decoding di bawah beban. EAGLE3 memangkas 69% throughput pada 32 permintaan bersamaan, sehingga BroadNet tetap memakai drafter multi-token-prediction. Studi serving Uno mengukur efek yang sama untuk metode lain.
- Serving sama pentingnya dengan bobot model. Bobot Gemma 4 26B yang sama, saat disajikan oleh penyedia hosted, rata-rata mendapat skor 0,13 lebih rendah dibanding apa yang BroadNet sebut “our own serving” (serving kami sendiri). Aturan BroadNet: tempatkan model penantang dan baseline-nya di serving yang sama sebelum membandingkannya.
- Model aktif yang lebih kecil bisa menang. Mixture of experts 26B mengalahkan Gemma 4 31B dense di 5 dari 6 langkah pipeline dengan sekitar seperdelapan parameter aktifnya.
- Setara model frontier pada satu pipeline. Dalam evaluasi buta terhadap 240 trace, Gemma 4 yang disajikan BroadNet menyamai Claude Sonnet di lima dari enam langkah yang diukur, dengan respons 1,2 hingga 6,5 kali lebih cepat per langkah.
- Kecepatan per permintaan. Menurut pengukuran BroadNet, Qwen3-VL 30B A3B berjalan pada 36,5 hingga 110 token per detik per permintaan di serving yang BroadNet sebut sebagai miliknya sendiri, dibanding 7 hingga 19 di empat penyedia OpenRouter yang diukur BroadNet.
- Arsitektur mengalahkan pilihan model. Pada set sulit di mana dua model vision lokal tidak sepakat, eskalasi ke adjudikator hosted menaikkan akurasi dari 1 dari 12 menjadi 11 dari 12.
Perbandingan dengan Sonnet adalah klaim terkuat, dan cakupannya sempit: satu pipeline chatbot milik satu perusahaan, dinilai secara buta oleh tiga juri, pada 240 percakapan produksi dari 11 tenant, menurut halaman Gemma 4 BroadNet. Ini tidak berarti Gemma 4 setara Sonnet secara umum. BroadNet belum menerbitkan laporan lengkap evaluasi tersebut di halaman risetnya.
Bagaimana model Gemma 4 disajikan?
Menurut halaman modelnya, Gemma 4 VL 26B milik BroadNet adalah contoh paling jelas dari pilihan serving-nya:
- Bobot: Gemma 4 26B A4B dari Google, dikuantisasi BroadNet ke AWQ 4-bit. BroadNet menguji NVFP4 dan menghentikannya setelah perbandingan langsung.
- Decoding: speculative decoding multi-token-prediction dengan dua token draf (k=2), dan KV cache fp8.
- Template: template chat yang disetel BroadNet untuk alur kerja percakapannya.
- Ketahanan: hot backup dengan failover otomatis.
- Hasil: sekitar 136 token per detik pada satu stream, dan 90,86 pada rangkaian uji kualitas internal BroadNet.
Lihat kuantisasi dan speculative decoding untuk istilah-istilahnya.
Apa artinya bagi Anda?
Bagi pengguna bayar sesuai pemakaian, pilihan serving BroadNet terlihat pada kecepatan yang dipublikasikan, sekitar 100 token per detik secara umum pada model paket, dan pada batasnya: 30 permintaan per menit dan 4 permintaan bersamaan per kunci. Ketentuan BroadNet menyebutkan layanan swalayan tidak punya komitmen ketersediaan; tingkat layanan hanya tersedia lewat perjanjian tertulis. Perbandingan SLA penyedia lain.
Untuk kebutuhan yang lebih besar, BroadNet menawarkan endpoint privat di GPU yang dicadangkan, dengan model, kunci, batas, dan region Anda, serta appliance on-premise di stack yang sama. Jika Anda membandingkannya dengan menyewa GPU sendiri, panduan biaya self-hosting vs API kami menguraikan hitungannya, dan model-model yang dicoret BroadNet menunjukkan cara BroadNet memilih apa yang disajikan.
