BroadRouter

Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet

Đội ngũ BroadNet Inference · 5 phút đọc · Đăng ngày · Cập nhật

BroadNet nói họ chạy một stack phục vụ duy nhất trên ba tầng phần cứng: GPU trung tâm dữ liệu từ A100 đến B300, tầng workstation gồm card RTX và DGX Spark gánh API công khai luôn hoạt động, và thiết bị đặt tại chỗ khách hàng. Họ báo cáo đã chạy khoảng 270 model trên 13 dòng GPU, cả NVIDIA lẫn AMD. Một số model API do đối tác inference tại Mỹ phục vụ.

BroadNet mô tả phần cứng inference của họ chi tiết một cách hiếm thấy. Danh mục model của họ liệt kê các GPU mà họ nói đang chạy, thông lượng đo được trên từng card, và những gì họ học được khi chạy cùng model trên các card đó. Trang này tóm tắt những gì BroadNet nói, dùng nguyên lời họ ở những chỗ quan trọng. Chúng tôi chưa kiểm tra phần cứng, và các số đo là của chính BroadNet, từ tháng 9 năm 2026.

BroadNet nói họ chạy phần cứng gì?

BroadNet nói họ vận hành “one fleet, three tiers, one stack” (bản dịch: một đội máy, ba tầng, một stack): cùng engine, cùng định dạng lượng tử hóa và cùng gateway, từ bộ tăng tốc trong trung tâm dữ liệu đến thiết bị đặt tại chỗ khách hàng.

Tầng GPU BroadNet liệt kê BroadNet dùng vào việc gì
Trung tâm dữ liệu B300, B200, H200, H100, A100 80 GB Phục vụ model flagship, lượng tử hóa và hiệu chỉnh, fine-tuning, endpoint riêng chuyên dụng, bố trí theo yêu cầu lưu trú dữ liệu
Workstation RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700 API công khai luôn hoạt động, benchmark trên CUDA và ROCm, phát triển model
Tại chỗ khách hàng DGX Spark GB10, thiết bị AMD nhỏ gọn Triển khai on-premise và air-gapped trên cùng một stack

Tổng cộng BroadNet báo cáo đã chạy khoảng 270 model, nạp khoảng 200 checkpoint, khoảng 40 dòng model, từ 12 định dạng lượng tử hóa trở lên và 13 dòng GPU. Họ cũng nói “a single H100 serves the entire current public catalogue with headroom” (bản dịch: một H100 duy nhất phục vụ toàn bộ danh mục công khai hiện tại mà vẫn còn dư).

Những model API nào chạy trên đó?

Không phải tất cả. Tuyên bố quyền riêng tư của BroadNet nói các model riêng và model open-weight họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Mỹ, với năng lực của đối tác làm dự phòng, còn các model do đối tác phục vụ chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Mỹ. Điều khoản dịch vụ của họ nêu tên DeepSeek V4.1 Flash là model do đối tác host.

Những gì các trang của BroadNet nói theo từng model:

Model trên API Phần cứng BroadNet nêu
Gemma 4 VL 26B GPU lớp NVIDIA Blackwell kèm bản dự phòng nóng
Transcribe Arabic và Transcribe GPU NVIDIA do BroadNet vận hành tại Mỹ
DeepSeek V4.1 Flash Do đối tác host (Điều khoản dịch vụ §7.3)
GLM 5.3, Qwen3.8 27B Không nêu cho lưu lượng API

Nếu nơi dữ liệu được xử lý là điều quan trọng, hãy hỏi BroadNet trước khi gửi. Trang inference của họ nói có thể xử lý tại khu vực MENA hoặc châu Âu khi có yêu cầu.

Mỗi GPU nhanh đến đâu?

BroadNet công bố thông lượng đầu ra tổng hợp mỗi GPU cho một model, Qwen3-VL 30B A3B Instruct với 32 request đồng thời:

GPU Tầng Băng thông bộ nhớ Tổng token/giây
B300 Trung tâm dữ liệu 8.000 GB/s 14.500
B200 Trung tâm dữ liệu 8.000 GB/s 14.000
H200 Trung tâm dữ liệu 4.800 GB/s 8.400
H100 Trung tâm dữ liệu 3.350 GB/s 5.800
A100 80 GB Trung tâm dữ liệu 2.039 GB/s 3.500
RTX PRO 6000 Blackwell Workstation 1.792 GB/s 3.100
RTX 3090 Workstation 936 GB/s 1.630
DGX Spark GB10 Workstation 273 GB/s 1.597
Radeon AI PRO R9700 Workstation 640 GB/s 1.087

BroadNet lưu ý rằng số liệu trung tâm dữ liệu là “planning numbers from our measured per-GPU curve” (bản dịch: số liệu lập kế hoạch từ đường cong mỗi GPU mà chúng tôi đã đo), không phải đo trực tiếp trên từng card. Phần lớn các hàng tăng theo băng thông bộ nhớ, giới hạn thường gặp khi decode, nhưng không phải tất cả: DGX Spark GB10 (273 GB/s) gần bằng RTX 3090 (936 GB/s), còn Radeon AI PRO R9700 (640 GB/s) xếp sau cả hai.

BroadNet nói phần cứng đã dạy họ điều gì?

Danh mục liệt kê tám phát hiện, mỗi phát hiện đều ghi “measured on our own hardware” (bản dịch: đo trên phần cứng của chính chúng tôi). Những phát hiện quan trọng nhất với người mua API:

  • CUDA so với ROCm. Chạy cùng model trên NVIDIA CUDA và AMD ROCm, CUDA biến băng thông bộ nhớ thành token nhiều gấp khoảng hai lần, nên BroadNet bố trí workload theo đó.
  • Speculative decoding khi tải cao. EAGLE3 làm mất 69% thông lượng ở 32 request đồng thời, nên BroadNet giữ các drafter multi-token prediction. Nghiên cứu phục vụ Uno đo cùng hiệu ứng này với một phương pháp khác.
  • Cách phục vụ quan trọng ngang trọng số. Cùng trọng số Gemma 4 26B khi được một nhà cung cấp hosting phục vụ đạt điểm trung bình thấp hơn 0,13 so với cách phục vụ mà BroadNet gọi là “our own serving” (bản dịch: cách phục vụ của chính chúng tôi). Quy tắc của BroadNet: đặt model thách thức và baseline của nó trên cùng cách phục vụ trước khi so sánh.
  • Model có ít tham số hoạt động hơn vẫn có thể thắng. Model mixture of experts 26B vượt Gemma 4 31B dạng dense ở 5 trên 6 bước của pipeline, với khoảng một phần tám số tham số hoạt động.
  • Ngang model hàng đầu trên một pipeline. Trong một đánh giá mù gồm 240 trace, Gemma 4 do BroadNet phục vụ ngang Claude Sonnet ở năm trên sáu bước được đo, với phản hồi mỗi bước nhanh hơn 1,2 đến 6,5 lần.
  • Tốc độ mỗi request. Theo đo đạc của BroadNet, Qwen3-VL 30B A3B chạy 36,5 đến 110 token mỗi giây mỗi request trên cách phục vụ mà BroadNet mô tả là của chính họ, so với 7 đến 19 ở bốn nhà cung cấp trên OpenRouter mà BroadNet đã đo.
  • Kiến trúc quan trọng hơn lựa chọn model. Trên một bộ dữ liệu khó mà hai model vision cục bộ bất đồng, việc chuyển lên một model phân xử được host đã nâng độ chính xác từ 1 trên 12 lên 11 trên 12.

So sánh với Sonnet là tuyên bố mạnh nhất, và phạm vi của nó hẹp: pipeline chatbot của một công ty, được ba giám khảo chấm mù, trên 240 cuộc hội thoại production từ 11 tenant, theo trang Gemma 4 của BroadNet. Nó không có nghĩa Gemma 4 ngang Sonnet nói chung. BroadNet chưa công bố báo cáo đầy đủ về đánh giá này trên trang nghiên cứu.

Model Gemma 4 được phục vụ như thế nào?

Theo trang model, Gemma 4 VL 26B của BroadNet là ví dụ rõ nhất cho các lựa chọn phục vụ của họ:

  • Trọng số: Gemma 4 26B A4B của Google, được BroadNet lượng tử hóa xuống AWQ 4-bit. BroadNet đã thử NVFP4 và loại bỏ nó sau một lần so sánh trực tiếp.
  • Decode: speculative decoding bằng multi-token prediction với hai token nháp (k=2), và KV cache fp8.
  • Template: chat template BroadNet tinh chỉnh cho quy trình hội thoại của họ.
  • Khả năng chịu lỗi: bản dự phòng nóng với failover tự động.
  • Kết quả: khoảng 136 token mỗi giây trên một stream đơn, và 90,86 điểm trên bộ kiểm tra chất lượng nội bộ của BroadNet.

Xem lượng tử hóa và speculative decoding để hiểu các thuật ngữ.

Điều này có ý nghĩa gì với bạn?

Với người dùng trả theo mức dùng, các lựa chọn phục vụ của BroadNet thể hiện qua tốc độ được công bố, thường là khoảng 100 token mỗi giây trên model của gói, và qua các giới hạn: 30 request mỗi phút và 4 request đang xử lý mỗi key. Điều khoản của BroadNet nói gói tự phục vụ không có cam kết về tính sẵn sàng; mức dịch vụ chỉ đi kèm thỏa thuận bằng văn bản. So sánh SLA của các nhà cung cấp khác.

Với nhu cầu lớn hơn, BroadNet cung cấp endpoint riêng trên GPU được dành riêng, với model, key, giới hạn và khu vực của bạn, và thiết bị on-premise trên cùng stack. Nếu bạn đang cân nhắc so với việc tự thuê GPU, hướng dẫn chi phí tự host so với API của chúng tôi đi qua phép tính, và các model BroadNet đã loại cho thấy họ chọn model để phục vụ như thế nào.

Câu hỏi thường gặp

BroadNet có tự vận hành GPU không?

BroadNet nói họ vận hành đội GPU NVIDIA và AMD của riêng mình. Tuyên bố quyền riêng tư nói các model riêng và model open-weight họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Mỹ, với năng lực của đối tác làm dự phòng. Các model do đối tác phục vụ, như DeepSeek V4.1 Flash, chạy với các đối tác inference tại Mỹ.

GPU nào phục vụ API công khai?

Danh mục của BroadNet đặt "the always-on public API" (API công khai luôn hoạt động) ở tầng workstation (RTX PRO 6000 Blackwell, RTX 5090, RTX 3090, DGX Spark GB10, Radeon AI PRO R9700). Trang Gemma 4 nêu GPU lớp NVIDIA Blackwell kèm bản dự phòng nóng.

Có SLA uptime được công bố không?

Với gói tự phục vụ thì không. Điều khoản dịch vụ của BroadNet nói gói tự phục vụ không có cam kết về tính sẵn sàng, và mức dịch vụ chỉ có trong một thỏa thuận bằng văn bản riêng, chẳng hạn cho endpoint riêng.

Tôi có thể có GPU dành riêng không?

Có. BroadNet cung cấp endpoint riêng trên GPU hoặc node được dành riêng, với model bạn chọn, key và giới hạn riêng, và khu vực bạn cần. Giá được tính theo lưu lượng của bạn khi liên hệ.

BroadNet có chạy model tại cơ sở của tôi được không?

BroadNet nói tầng tại chỗ khách hàng chạy cùng stack trên DGX Spark GB10 và các thiết bị AMD nhỏ gọn cho triển khai on-premise và air-gapped.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity