---
title: "BroadNet GPU 硬件与推理部署（据 BroadNet 自述） | BroadRouter"
description: "BroadNet 对 BroadNet Inference 背后硬件的介绍：从 B300 到客户现场一体机的三层 GPU、每张 GPU 的吞吐量，以及它从测试中得出的经验。"
url: https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/broadnet-gpu-fleet-and-serving/)（2026-11-16 更新）。

# BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-15 · 更新于 2026-11-16

BroadNet 称，它在三层硬件上运行同一套推理栈：从 A100 到 B300 的数据中心 GPU；由 RTX 和 DGX Spark 组成、承载全天候公共 API 的工作站层；以及部署在客户现场的一体机。它报告共运行过约 270 个模型，涉及 NVIDIA 和 AMD 的 13 个 GPU 系列。部分 API 模型则由美国的推理合作伙伴提供服务。

## 要点

-   三层、一套栈：数据中心（B300、B200、H200、H100、A100）、工作站（RTX PRO 6000、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700）和客户现场。
-   BroadNet 称，工作站层承载全天候公共 API；数据中心 GPU 负责旗舰模型服务、微调和私有端点。
-   它的实测结论：在相同模型上，NVIDIA CUDA 把内存带宽转化为 token 的效率约为 AMD ROCm 的两倍。
-   部署方式和权重同样重要：BroadNet 报告，同样的 Gemma 4 26B 权重，在一家托管服务商上的得分比它所称的自有部署低 0.13。
-   并非所有 API 模型都运行在 BroadNet 所称的自有硬件上：BroadNet 的服务条款写明 DeepSeek V4.1 Flash 由合作伙伴托管。

**本页内容**

1.  BroadNet 称自己运行哪些硬件？
2.  哪些 API 模型运行在这些硬件上？
3.  每种 GPU 有多快？
4.  BroadNet 说它从硬件上学到了什么？
5.  Gemma 4 模型是怎样部署的？
6.  这对你意味着什么？

BroadNet 对其推理硬件的介绍细致得少见。它的[模型目录](https://www.broadnet.ai/inference/models)列出了它所称运行的 GPU、每张卡的实测吞吐量，以及在这些硬件上运行相同模型得出的经验。本页总结 BroadNet 的说法，关键处引用其原话。我们没有检查过这些硬件，测量数据均为 BroadNet 自己在 2026 年 9 月得出的。

## BroadNet 称自己运行哪些硬件？

BroadNet 称它采用“one fleet, three tiers, one stack”（译文：一个集群、三层硬件、一套栈）：从数据中心加速卡到客户现场的一体机，用的是同样的推理引擎、量化方案和网关。

| 层级 | BroadNet 列出的 GPU | BroadNet 的用途 |
| --- | --- | --- |
| 数据中心 | B300、B200、H200、H100、A100 80 GB | 旗舰模型服务、量化与校准、微调、专属私有端点、满足数据驻留要求的部署 |
| 工作站 | RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700 | 全天候公共 API、跨 CUDA 和 ROCm 的基准测试、模型开发 |
| 客户现场 | DGX Spark GB10、小型 AMD 一体机 | 在完全相同的栈上进行本地部署和物理隔离部署 |

BroadNet 报告共运行过约 270 个模型，加载过约 200 个检查点，涉及约 40 个模型系列、12 种以上量化格式和 13 个 GPU 系列。它还称“a single H100 serves the entire current public catalogue with headroom”（译文：单张 H100 就能承载当前整个公开模型目录，且还有余量）。

## 哪些 API 模型运行在这些硬件上？

不是全部。BroadNet 的[隐私声明](https://www.broadnet.ai/inference-privacy)表示，其自有模型和它托管的开放权重模型运行在 BroadNet 位于美国的自有或租用硬件上，合作伙伴的算力作为备份；由合作伙伴提供服务的模型，则在零数据保留条款下运行于美国的推理合作伙伴处。其[服务条款](https://www.broadnet.ai/terms)写明 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 由合作伙伴托管。

BroadNet 自己的页面对各模型的说法：

| API 上的模型 | BroadNet 写明的硬件 |
| --- | --- |
| [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) | NVIDIA Blackwell 级 GPU，配热备份 |
| [Transcribe Arabic](https://broadrouter.com/zh/models/cohere-transcribe-arabic/) 和 [Transcribe](https://broadrouter.com/zh/models/cohere-transcribe/) | BroadNet 在美国运营的 NVIDIA GPU |
| DeepSeek V4.1 Flash | 合作伙伴托管（服务条款 §7.3） |
| GLM 5.3、Qwen3.8 27B | 未说明 API 流量所用硬件 |

如果你在意数据在哪里处理，发送之前先问 BroadNet。其推理页面称，可应要求在中东北非（MENA）或欧洲进行区域内处理。

## 每种 GPU 有多快？

BroadNet 公布了一个模型在每种 GPU 上的总输出吞吐量：Qwen3-VL 30B A3B Instruct，32 个并发请求：

| GPU | 层级 | 内存带宽 | 总 tokens/s |
| --- | --- | --- | --- |
| B300 | 数据中心 | 8,000 GB/s | 14,500 |
| B200 | 数据中心 | 8,000 GB/s | 14,000 |
| H200 | 数据中心 | 4,800 GB/s | 8,400 |
| H100 | 数据中心 | 3,350 GB/s | 5,800 |
| A100 80 GB | 数据中心 | 2,039 GB/s | 3,500 |
| RTX PRO 6000 Blackwell | 工作站 | 1,792 GB/s | 3,100 |
| RTX 3090 | 工作站 | 936 GB/s | 1,630 |
| DGX Spark GB10 | 工作站 | 273 GB/s | 1,597 |
| Radeon AI PRO R9700 | 工作站 | 640 GB/s | 1,087 |

BroadNet 指出，数据中心的数字是“planning numbers from our measured per-GPU curve”（译文：根据我们实测的单卡曲线推算的规划数字），而不是在每张卡上的直接测量。大多数行随内存带宽上升，而内存带宽通常正是解码的瓶颈，但并非全部如此：DGX Spark GB10（273 GB/s）几乎追平 RTX 3090（936 GB/s），而 Radeon AI PRO R9700（640 GB/s）落后于这两者。

## BroadNet 说它从硬件上学到了什么？

模型目录列出了八条发现，每条都标注“measured on our own hardware”（译文：在我们自己的硬件上实测）。对 API 买家最重要的几条：

-   **CUDA 与 ROCm。** 在 NVIDIA CUDA 和 AMD ROCm 上运行相同模型，CUDA 把内存带宽转化为 token 的效率约为后者的两倍，所以 BroadNet 据此分配工作负载。
-   **负载下的投机解码。** 在 32 个并发请求下，EAGLE3 让吞吐量损失了 69%，所以 BroadNet 保留了多 token 预测（MTP）草稿模型。它的 [Uno 部署研究](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)针对另一种方法测得了同样的效应。
-   **部署方式和权重同样重要。** 同样的 Gemma 4 26B 权重，由一家托管服务商部署时，平均得分比 BroadNet 所说的 “our own serving”（译文：我们自己的部署）低 0.13。BroadNet 的原则是：比较之前，让挑战者和基线跑在同样的部署方式上。
-   **激活参数更少的模型也能胜出。** 26B 的混合专家模型以约八分之一的激活参数，在 6 个流水线步骤中的 5 个上胜过稠密的 Gemma 4 31B。
-   **在一条流水线上与前沿模型持平。** 在对 240 条轨迹的盲评中，BroadNet 部署的 Gemma 4 在六个被测步骤中的五个上与 Claude Sonnet 持平，每步响应快 1.2 到 6.5 倍。
-   **单请求速度。** 据 BroadNet 测量，Qwen3-VL 30B A3B 在 BroadNet 所称的自有部署上单请求速度为每秒 36.5 到 110 个 token，而 BroadNet 测量的四家 OpenRouter 服务商为 7 到 19。
-   **架构胜过模型选择。** 在两个本地视觉模型意见不一的困难样本集上，升级给一个托管的仲裁模型后，准确率从 12 个中对 1 个提高到 12 个中对 11 个。

与 Sonnet 的比较是最强的说法，但范围很窄：根据 BroadNet 的 [Gemma 4 页面](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)，这是一家公司的聊天机器人流水线，由三名评审盲评，样本是来自 11 个租户的 240 条生产对话。它并不意味着 Gemma 4 在总体上能与 Sonnet 相提并论。BroadNet 尚未在其研究页面上发布这项评测的完整报告。

## Gemma 4 模型是怎样部署的？

据其模型页，BroadNet 的 Gemma 4 VL 26B 最能体现它的部署选择：

-   \*\*权重：\*\*Google 的 Gemma 4 26B A4B，由 BroadNet 量化为 4 位 AWQ。BroadNet 测试过 NVFP4，在正面对比后弃用。
-   \*\*解码：\*\*多 token 预测投机解码，草拟两个 token（k=2），并使用 fp8 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)。
-   \*\*模板：\*\*BroadNet 为其对话工作流调优的聊天模板。
-   \*\*容灾：\*\*配有自动故障转移的热备份。
-   \*\*结果：\*\*单流约每秒 136 个 token，在 BroadNet 内部质量测试集上得分 90.86。

相关术语见[量化](https://broadrouter.com/zh/glossary/quantization/)和[投机解码](https://broadrouter.com/zh/glossary/speculative-decoding/)。

## 这对你意味着什么？

对按量付费用户来说，BroadNet 的部署选择体现在公布的速度上（套餐模型典型速度为 约每秒 100 个 token），也体现在限额上：每个密钥每分钟 30 个请求，同时进行中的请求 4 个。BroadNet 的条款说明，自助服务不作可用性承诺；服务等级只随书面协议提供。[其他供应商的 SLA 对比](https://broadrouter.com/zh/blog/llm-api-sla-uptime-compared/)。

需求更大时，BroadNet 提供部署在预留 GPU 上的私有端点，模型、密钥、限额和区域由你决定，也提供运行同一套栈的本地一体机。如果你在拿它和自己租 GPU 做比较，我们的[自托管与 API 成本指南](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)把账算了一遍，[BroadNet 排除的模型](https://broadrouter.com/zh/blog/models-broadnet-ruled-out/)则展示了它如何选择要部署的模型。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[混合专家模型（MoE）](https://broadrouter.com/zh/glossary/mixture-of-experts/)

混合专家模型（MoE）是一种神经网络设计：一层中包含许多专家子网络，由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大，但每个 token 只使用一小部分激活参数。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[量化（quantization）](https://broadrouter.com/zh/glossary/quantization/)

量化是把神经网络中的数值（主要是权重）从 16 位改用 8 位或 4 位等更低精度格式存储的过程，这样模型占用的显存更少，通常也运行得更快。好的量化方法能把精度损失控制得很小。

[投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)

投机解码是一种推理技术：由一个小而快的草稿模型提出接下来的若干 token，大的目标模型在一次前向计算中验证它们，并保留被接受的部分。它能加快生成，而不改变输出的分布。

[SLA（服务等级协议）](https://broadrouter.com/zh/glossary/sla/)

SLA（服务等级协议）是服务商在合同中对可衡量服务水平的承诺，通常是每月可用性百分比，并规定未达标时的补救方式，通常是服务抵扣。SLA 会定义什么算停机、哪些情况除外，以及如何申请赔付。

[对话模板（chat template）](https://broadrouter.com/zh/glossary/chat-template/)

对话模板是一套格式规则，通常用 Jinja 编写并随模型的分词器一起发布，它把带角色的对话消息列表转换成模型期望的单一 token 序列，包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。

## 常见问题

### BroadNet 有自己的 GPU 吗？

BroadNet 称，它运营着自己的 NVIDIA 和 AMD GPU 集群。其隐私声明表示，自有模型和它托管的开放权重模型运行在 BroadNet 位于美国的自有或租用硬件上，合作伙伴的算力作为备份。由合作伙伴提供服务的模型（例如 DeepSeek V4.1 Flash）运行在美国的推理合作伙伴那里。

### 公共 API 用的是哪种 GPU？

BroadNet 的模型目录把“the always-on public API”（译文：全天候公共 API）放在工作站层（RTX PRO 6000 Blackwell、RTX 5090、RTX 3090、DGX Spark GB10、Radeon AI PRO R9700）。其 Gemma 4 页面写的是 NVIDIA Blackwell 级 GPU，并配有热备份。

### 有公开的可用性 SLA 吗？

自助服务没有。BroadNet 的服务条款说明，自助服务不作可用性承诺，服务等级只存在于单独的书面协议中，例如私有端点的协议。

### 能获得专属 GPU 吗？

可以。BroadNet 提供部署在预留 GPU 或节点上的私有端点，模型由你选择，使用你自己的密钥和限额，区域按你的需要。价格根据你的流量按需报价。

### BroadNet 能在我的机房里运行模型吗？

BroadNet 称，其客户现场层在 DGX Spark GB10 和小型 AMD 一体机上运行同一套推理栈，用于本地部署和物理隔离（air-gapped）部署。

## 继续阅读

-   [BroadNet 评估后淘汰了哪些模型，原因是什么](https://broadrouter.com/zh/blog/models-broadnet-ruled-out/)
-   [vLLM 中的 Uno：BroadNet 部署研究测了什么](https://broadrouter.com/zh/blog/uno-in-vllm-serving-study/)
-   [Gemma 4 26B 上的 Uno：BroadNet 的混合专家（MoE）研究](https://broadrouter.com/zh/blog/uno-mixture-of-experts-gemma-4-study/)
-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [把人工复核纳入文档 AI 工作流](https://broadrouter.com/zh/blog/document-review-queues/)
-   [指南：免注册，在浏览器里试用 BroadNet Inference](https://broadrouter.com/zh/guides/try-broadnet-inference-playground/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-broadnet-gpu-fleet-and-serving&utm_content=page-cta) ·

**来源**

-   [BroadNet 模型目录：容量、单卡 GPU 吞吐量和硬件发现（2026 年 9 月实测；2026-11-15 获取）（英文）](https://www.broadnet.ai/inference/models)
-   [BroadNet Gemma 4 VL 26B 模型页：部署配置和盲评（2026-11-15 获取）（英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet Inference 隐私声明：数据在哪里处理（2026-11-15 获取）（英文）](https://www.broadnet.ai/inference-privacy)
-   [BroadNet 服务条款 §7.3 和 §7.4：合作伙伴托管与可用性（2026-11-15 获取）（英文）](https://www.broadnet.ai/terms)
-   [BroadNet Research：其实验室的公开发现（2026-11-15 获取）（英文）](https://www.broadnet.ai/research)
