BroadNet çıkarım donanımını alışılmadık bir ayrıntıyla anlatıyor. Model kataloğu çalıştırdığını söylediği GPU’ları, kart başına ölçülen işlem hacmini ve aynı modelleri bu kartlarda çalıştırarak öğrendiklerini listeliyor. Bu sayfa BroadNet’in söylediklerini, önemli yerlerde kendi sözleriyle özetliyor. Donanımı biz incelemedik; ölçümler BroadNet’in kendisine ait ve Eylül 2026 tarihli.
BroadNet hangi donanımı çalıştırdığını söylüyor?
BroadNet “one fleet, three tiers, one stack” (BroadRouter çevirisi: tek filo, üç katman, tek yığın) çalıştırdığını söylüyor: veri merkezi hızlandırıcılarından müşteri sahalarındaki cihazlara kadar aynı motorlar, nicemlemeler ve ağ geçidi.
| Katman | BroadNet’in listelediği GPU’lar | BroadNet’in kullanım amacı |
|---|---|---|
| Veri merkezi | B300, B200, H200, H100, A100 80 GB | Amiral gemisi modellerin sunumu, nicemleme ve kalibrasyon, ince ayar, ayrılmış özel uç noktalar, veri yerleşimi gerektiren yerleştirmeler |
| İş istasyonu | RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 | Sürekli açık genel API, CUDA ve ROCm genelinde kıyaslama, model geliştirme |
| Müşteri sahası | DGX Spark GB10, kompakt AMD cihazları | Aynı yığın üzerinde şirket içi ve internetten yalıtılmış kurulumlar |
BroadNet toplamda yaklaşık 270 model çalıştırdığını, yaklaşık 200 kontrol noktası (checkpoint) yüklediğini, yaklaşık 40 model ailesi, 12 veya daha fazla nicemleme biçimi ve 13 GPU ailesi kullandığını bildiriyor. Ayrıca “a single H100 serves the entire current public catalogue with headroom” (BroadRouter çevirisi: tek bir H100, mevcut genel kataloğun tamamını pay bırakarak sunuyor) diyor.
Bu donanımda hangi API modelleri çalışıyor?
Hepsi değil. BroadNet’in gizlilik beyanı, kendi modellerinin ve barındırdığı açık ağırlıklı modellerin ABD’de BroadNet’e ait veya kiralık donanımda çalıştığını, yedek olarak ortak kapasitesi bulunduğunu ve ortaklar tarafından sunulan modellerin ABD’li çıkarım ortaklarında sıfır veri saklama koşullarıyla çalıştığını söylüyor. Hizmet Koşulları, DeepSeek V4.1 Flash modelini ortak tarafından barındırılan model olarak adlandırıyor.
BroadNet’in kendi sayfalarının model bazında söyledikleri:
| API’deki model | BroadNet’in belirttiği donanım |
|---|---|
| Gemma 4 VL 26B | Sıcak yedekli NVIDIA Blackwell sınıfı GPU’lar |
| Transcribe Arabic ve Transcribe | ABD’de BroadNet tarafından işletilen NVIDIA GPU’ları |
| DeepSeek V4.1 Flash | Ortak tarafından barındırılıyor (Hizmet Koşulları §7.3) |
| GLM 5.3, Qwen3.8 27B | API trafiği için belirtilmemiş |
Verinizin nerede işlendiği sizin için önemliyse göndermeden önce BroadNet’e sorun. Çıkarım sayfası, MENA veya Avrupa’da bölgesel işlemenin talep üzerine mümkün olduğunu söylüyor.
Her GPU ne kadar hızlı?
BroadNet tek bir model için, 32 eşzamanlı istekte Qwen3-VL 30B A3B Instruct ile GPU başına toplam çıktı işlem hacmini yayımlıyor:
| GPU | Katman | Bellek bant genişliği | Toplam token/sn |
|---|---|---|---|
| B300 | Veri merkezi | 8.000 GB/s | 14.500 |
| B200 | Veri merkezi | 8.000 GB/s | 14.000 |
| H200 | Veri merkezi | 4.800 GB/s | 8.400 |
| H100 | Veri merkezi | 3.350 GB/s | 5.800 |
| A100 80 GB | Veri merkezi | 2.039 GB/s | 3.500 |
| RTX PRO 6000 Blackwell | İş istasyonu | 1.792 GB/s | 3.100 |
| RTX 3090 | İş istasyonu | 936 GB/s | 1.630 |
| DGX Spark GB10 | İş istasyonu | 273 GB/s | 1.597 |
| Radeon AI PRO R9700 | İş istasyonu | 640 GB/s | 1.087 |
BroadNet, veri merkezi rakamlarının her kartta doğrudan yapılmış ölçümler değil, “planning numbers from our measured per-GPU curve” (BroadRouter çevirisi: ölçtüğümüz GPU başına eğriden çıkan planlama rakamları) olduğunu belirtiyor. Satırların çoğu, kod çözmede genellikle sınırlayıcı etken olan bellek bant genişliğiyle birlikte yükseliyor, ama hepsi değil: DGX Spark GB10 (273 GB/s) neredeyse RTX 3090 (936 GB/s) ile eşleşiyor, Radeon AI PRO R9700 (640 GB/s) ise ikisinin de gerisinde kalıyor.
BroadNet donanımının ona ne öğrettiğini söylüyor?
Katalog, her biri “measured on our own hardware” (BroadRouter çevirisi: kendi donanımımızda ölçüldü) olarak işaretlenmiş sekiz bulgu listeliyor. API alıcıları için en önemlileri:
- CUDA ve ROCm. Aynı modeller NVIDIA CUDA ve AMD ROCm’da çalıştırıldığında CUDA, bellek bant genişliğini yaklaşık iki kat daha fazla token’a dönüştürdü; BroadNet iş yüklerini buna göre yerleştiriyor.
- Yük altında spekülatif kod çözme. EAGLE3, 32 eşzamanlı istekte işlem hacminin %69’una mal oldu; bu yüzden BroadNet çok token’lı tahmin (MTP) taslakçılarında kaldı. Uno sunum çalışması aynı etkiyi başka bir yöntem için ölçüyor.
- Sunum, ağırlıklar kadar önemli. Barındırılan bir sağlayıcının sunduğu aynı Gemma 4 26B ağırlıkları, BroadNet’in “our own serving” (BroadRouter çevirisi: kendi sunumumuz) dediği altyapıya göre ortalamada 0,13 daha düşük puan aldı. BroadNet’in kuralı: bir rakibi ve referans modelini karşılaştırmadan önce ikisini aynı sunum altyapısında tutun.
- Daha küçük aktif model kazanabilir. 26B uzmanlar karışımı modeli, aktif parametrelerin yaklaşık sekizde biriyle yoğun Gemma 4 31B’yi 6 hat adımının 5’inde geçti.
- Tek bir hatta öncü modellerle denklik. 240 iz üzerindeki kör bir değerlendirmede BroadNet’in sunduğu Gemma 4, ölçülen altı adımın beşinde Claude Sonnet ile eşleşti ve adım başına 1,2 ile 6,5 kat daha hızlı yanıt verdi.
- İstek başına hız. BroadNet’in ölçümüne göre Qwen3-VL 30B A3B, BroadNet’in kendi sunumu olarak tanımladığı altyapıda istek başına saniyede 36,5 ile 110 token arasında çalıştı; BroadNet’in ölçtüğü dört OpenRouter sağlayıcısında ise 7 ile 19 arasında.
- Mimari, model seçiminden üstündür. İki yerel görsel modelin anlaşamadığı zor bir sette, barındırılan bir hakem modele yükseltmek doğruluğu 12’de 1’den 12’de 11’e çıkardı.
Sonnet karşılaştırması en güçlü iddia ve kapsamı dar: BroadNet’in Gemma 4 sayfasına göre tek bir şirketin sohbet botu hattı, 11 kiracıdan 240 üretim konuşması üzerinde üç hakem tarafından kör olarak değerlendirildi. Bu, Gemma 4’ün genel olarak Sonnet’e denk olduğu anlamına gelmiyor. BroadNet bu değerlendirmenin tam bir raporunu araştırma sayfasında yayımlamadı.
Gemma 4 modeli nasıl sunuluyor?
Model sayfasına göre BroadNet’in Gemma 4 VL 26B modeli, sunum tercihlerinin en net örneği:
- Ağırlıklar: Google’ın Gemma 4 26B A4B modeli, BroadNet tarafından 4 bit AWQ’ya nicemlenmiş. BroadNet NVFP4’ü test etti ve doğrudan karşılaştırmanın ardından bıraktı.
- Kod çözme: iki taslak token’lı (k=2) çok token’lı tahmin spekülatif kod çözme ve fp8 bir KV önbelleği.
- Şablon: BroadNet’in kendi konuşma iş akışı için ayarladığı bir sohbet şablonu.
- Dayanıklılık: otomatik yük devretmeli sıcak yedek.
- Sonuç: tek akışta saniyede yaklaşık 136 token ve BroadNet’in dahili kalite test setinde 90,86.
Terimler için nicemleme ve spekülatif kod çözme maddelerine bakın.
Bu sizin için ne anlama geliyor?
Kullandıkça öde kullanıcısı için BroadNet’in sunum tercihleri yayımlanan hızda (plan modelinde tipik saniyede yaklaşık 100 token) ve sınırlarda görünür: anahtar başına dakikada 30 istek ve aynı anda 4 istek. BroadNet’in koşullarına göre self-serviste erişilebilirlik taahhüdü yok; hizmet seviyeleri yalnızca yazılı bir sözleşmeyle geliyor. Diğer sağlayıcıların SLA’ları nasıl karşılaştırılıyor.
Daha büyük ihtiyaçlar için BroadNet, ayrılmış GPU’larda sizin modeliniz, anahtarınız, sınırlarınız ve bölgenizle özel uç noktalar ve aynı yığın üzerinde şirket içi cihazlar sunuyor. Bunu kendi GPU’larınızı kiralamakla tartıyorsanız kendi barındırma ve API maliyeti rehberimiz hesabı adım adım yapıyor; BroadNet’in elediği modeller yazısı da neyi sunacağını nasıl seçtiğini gösteriyor.
