BroadRouter

GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Sabi ng BroadNet, iisang serving stack ang pinapatakbo nito sa tatlong hardware tier: data-center GPU mula A100 hanggang B300, isang workstation tier ng mga RTX at DGX Spark card na nagdadala ng laging bukas na public API, at mga appliance sa site ng kliyente. Iniuulat nito ang mga 270 model na napatakbo sa 13 GPU family, NVIDIA at AMD. May ilang API model na sine-serve ng mga US inference partner sa halip.

Hindi pangkaraniwan ang detalye ng paglalarawan ng BroadNet sa inference hardware nito. Inililista ng model catalogue nito ang mga GPU na sinasabi nitong pinapatakbo nito, ang nasukat na throughput kada card, at ang natutunan nito sa pagpapatakbo ng parehong mga model sa mga iyon. Binubuod ng page na ito ang sinasabi ng BroadNet, sa sarili nitong mga salita kung saan mahalaga. Hindi namin nasuri ang hardware, at sariling sukat ng BroadNet ang mga measurement, mula Setyembre 2026.

Anong hardware ang sinasabi ng BroadNet na pinapatakbo nito?

Sabi ng BroadNet, “one fleet, three tiers, one stack” (salin: iisang fleet, tatlong tier, iisang stack) ang pinapatakbo nito: parehong mga engine, quantisation at gateway mula sa mga data-center accelerator hanggang sa mga appliance sa site ng kliyente.

Tier Mga GPU na inililista ng BroadNet Pinaggagamitan ng BroadNet
Data center B300, B200, H200, H100, A100 80 GB Flagship serving, quantisation at calibration, fine-tuning, dedicated na private endpoint, placement para sa data residency
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 Ang laging bukas na public API, benchmarking sa CUDA at ROCm, model development
Site ng kliyente DGX Spark GB10, compact na AMD appliance On-premise at air-gapped na deployment sa kaparehong stack

Sa kabuuan, iniuulat ng BroadNet ang mga 270 model na napatakbo, mga 200 checkpoint na na-load, mga 40 model family, 12 o higit pang quantisation format at 13 GPU family. Sinasabi rin nito na “a single H100 serves the entire current public catalogue with headroom” (salin: kayang i-serve ng iisang H100 ang buong kasalukuyang public catalogue nang may sobra pang puwang).

Aling mga API model ang tumatakbo rito?

Hindi lahat. Ayon sa privacy statement ng BroadNet, tumatakbo ang sarili nitong mga model at ang mga open-weight model na hino-host nito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup, at tumatakbo ang mga model na sine-serve ng partner sa ilalim ng zero-data-retention na terms sa mga US inference partner. Pinapangalanan ng Terms of Service nito ang DeepSeek V4.1 Flash bilang partner-hosted.

Ang sinasabi ng sariling mga page ng BroadNet kada model:

Model sa API Hardware na binabanggit ng BroadNet
Gemma 4 VL 26B Mga NVIDIA Blackwell-class GPU na may hot backup
Transcribe Arabic at Transcribe Mga NVIDIA GPU na pinapatakbo ng BroadNet sa United States
DeepSeek V4.1 Flash Partner-hosted (Terms of Service §7.3)
GLM 5.3, Qwen3.8 27B Hindi sinabi para sa API traffic

Kung mahalaga sa iyo kung saan pinoproseso ang data mo, tanungin muna ang BroadNet bago ito ipadala. Sabi ng inference page nito, available kapag hiniling ang regional processing sa MENA o Europe.

Gaano kabilis ang bawat GPU?

Naglalathala ang BroadNet ng aggregate output throughput kada GPU para sa isang model, Qwen3-VL 30B A3B Instruct sa 32 sabay-sabay na request:

GPU Tier Memory bandwidth Aggregate token/s
B300 Data center 8,000 GB/s 14,500
B200 Data center 8,000 GB/s 14,000
H200 Data center 4,800 GB/s 8,400
H100 Data center 3,350 GB/s 5,800
A100 80 GB Data center 2,039 GB/s 3,500
RTX PRO 6000 Blackwell Workstation 1,792 GB/s 3,100
RTX 3090 Workstation 936 GB/s 1,630
DGX Spark GB10 Workstation 273 GB/s 1,597
Radeon AI PRO R9700 Workstation 640 GB/s 1,087

Paalala ng BroadNet na ang mga numero sa data center ay “planning numbers from our measured per-GPU curve” (salin: mga numerong pang-planning mula sa nasukat naming per-GPU curve), hindi direktang sukat sa bawat card. Tumataas ang karamihan ng row kasabay ng memory bandwidth, na karaniwang limit sa decoding, pero hindi lahat: halos pumapantay ang DGX Spark GB10 (273 GB/s) sa RTX 3090 (936 GB/s), at nasa likod ng dalawa ang Radeon AI PRO R9700 (640 GB/s).

Ano raw ang itinuro ng hardware sa BroadNet?

Inililista ng catalogue ang walong natuklasan, bawat isa may markang “measured on our own hardware” (salin: sinukat sa sarili naming hardware). Ito ang pinakamahalaga para sa mga bumibili ng API:

  • CUDA vs ROCm. Sa pagpapatakbo ng parehong mga model sa NVIDIA CUDA at AMD ROCm, halos doble ang memory bandwidth na nagawang token ng CUDA, kaya inilalagay ng BroadNet ang mga workload ayon dito.
  • Speculative decoding sa ilalim ng load. Nabawasan ng EAGLE3 ang throughput nang 69% sa 32 sabay-sabay na request, kaya pinanatili ng BroadNet ang mga multi-token-prediction drafter. Sinusukat ng Uno serving study nito ang parehong epekto para sa ibang paraan.
  • Kasinghalaga ng weights ang serving. Ang parehong Gemma 4 26B weights na sine-serve ng isang hosted provider ay 0.13 na mas mababa ang score sa karaniwan kaysa sa tinatawag ng BroadNet na “our own serving” (salin: sarili naming serving). Patakaran ng BroadNet: panatilihin ang challenger at ang baseline nito sa parehong serving bago sila ihambing.
  • Puwedeng manalo ang mas maliit na active model. Tinalo ng 26B mixture of experts ang dense na Gemma 4 31B sa 5 sa 6 na pipeline step gamit ang mga ikawalo lang ng active parameter.
  • Kapantay ng frontier sa iisang pipeline. Sa blind evaluation ng 240 trace, tumapat ang sine-serve na Gemma 4 ng BroadNet sa Claude Sonnet sa lima sa anim na nasukat na step, na 1.2 hanggang 6.5 beses na mas mabilis ang response kada step.
  • Bilis kada request. Tumakbo ang Qwen3-VL 30B A3B sa 36.5 hanggang 110 token kada segundo kada request sa inilalarawan ng BroadNet bilang sarili nitong serving, ayon sa sukat ng BroadNet, kumpara sa 7 hanggang 19 sa apat na OpenRouter provider na sinukat ng BroadNet.
  • Mas mahalaga ang architecture kaysa sa pagpili ng model. Sa mahirap na set kung saan hindi nagkasundo ang dalawang lokal na vision model, ang pag-escalate sa hosted na adjudicator ay nagpaangat ng accuracy mula 1 sa 12 tungong 11 sa 12.

Ang paghahambing sa Sonnet ang pinakamalakas na claim, at makitid ito: chatbot pipeline ng iisang kompanya, hinusgahan nang blind ng tatlong judge, sa 240 production na usapan mula sa 11 tenant, ayon sa Gemma 4 page ng BroadNet. Hindi ibig sabihin nito na kapantay ng Gemma 4 ang Sonnet sa pangkalahatan. Hindi pa naglalathala ang BroadNet ng buong write-up ng evaluation na iyon sa research page nito.

Paano sine-serve ang Gemma 4 model?

Ang Gemma 4 VL 26B ng BroadNet ang pinakamalinaw na halimbawa ng mga pinili nito sa serving, ayon sa model page nito:

  • Weights: Gemma 4 26B A4B ng Google, na-quantise ng BroadNet sa 4-bit AWQ. Tinest ng BroadNet ang NVFP4 at itinigil ito pagkatapos ng head-to-head.
  • Decoding: multi-token-prediction speculative decoding na may dalawang drafted na token (k=2), at fp8 na KV cache.
  • Template: chat template na inayos ng BroadNet para sa conversational na workflow nito.
  • Resilience: hot backup na may awtomatikong failover.
  • Resulta: mga 136 token kada segundo sa iisang stream, at 90.86 sa internal na quality battery ng BroadNet.

Tingnan ang quantisation at speculative decoding para sa mga termino.

Ano ang ibig sabihin nito para sa iyo?

Para sa pay-as-you-go na user, lumalabas ang mga pinili ng BroadNet sa serving bilang ang nakalathalang bilis, mga 100 token bawat segundo na karaniwan sa plan model, at sa mga limit: 30 request kada minuto at 4 na sabay-sabay kada key. Sabi ng terms ng BroadNet, walang availability commitment ang self-serve; may service level lang kapag may nakasulat na kasunduan. Paano ikinukumpara ang SLA ng ibang provider.

Para sa mas malalaking pangangailangan, nag-aalok ang BroadNet ng private endpoint sa naka-reserve na GPU, na may sarili mong model, key, limit at region, at on-premise na appliance sa parehong stack. Kung tinitimbang mo iyan laban sa pag-upa ng sarili mong GPU, dinadaanan ng gabay namin sa self-hosting vs API cost ang kuwenta, at ipinapakita ng mga model na tinanggihan ng BroadNet kung paano nito pinili ang ise-serve.

Mga tanong

May sariling GPU ba ang BroadNet?

Sabi ng BroadNet, nagpapatakbo ito ng sarili nitong fleet ng NVIDIA at AMD GPU. Ayon sa privacy statement nito, tumatakbo ang sarili nitong mga model at ang mga open-weight model na hino-host nito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup. Tumatakbo sa mga US inference partner ang mga model na sine-serve ng partner, gaya ng DeepSeek V4.1 Flash.

Aling GPU ang nagse-serve ng public API?

Inilalagay ng catalogue ng BroadNet ang "the always-on public API" (salin: ang laging bukas na public API) sa workstation tier nito (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Binabanggit ng Gemma 4 page nito ang mga NVIDIA Blackwell-class GPU na may hot backup.

May nakalathalang uptime SLA ba?

Wala para sa self-serve. Sabi ng Terms of Service ng BroadNet, walang availability commitment ang self-serve, at umiiral lang ang service level sa hiwalay na nakasulat na kasunduan, gaya ng para sa private endpoint.

Puwede ba akong makakuha ng dedicated GPU?

Oo. Nag-aalok ang BroadNet ng private endpoint sa naka-reserve na GPU o node, na ikaw ang pipili ng model, may sarili kang key at limit, at nasa region na kailangan mo. Ayon sa traffic mo ang presyo, kapag hiniling.

Kaya bang magpatakbo ng BroadNet ng model sa sarili kong lugar?

Sabi ng BroadNet, pinapatakbo ng client-site tier nito ang parehong stack sa DGX Spark GB10 at compact na AMD appliance para sa on-premise at air-gapped na deployment.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity