稠密模型对每个 token 都运行全部权重。混合专家模型只运行路由器挑出的少数几个专家。
原理
Shazeer 等人在 2017 年提出了稀疏门控 MoE 层:最多可包含数千个前馈子网络,由 “a trainable gating network”(译文:一个可训练的门控网络)为每个输入选择 “a sparse combination of these experts”(译文:这些专家的一个稀疏组合)。在现代 Transformer 中,部分层的前馈块会变成一组专家。对每个 token,路由器给各个专家打分,并把 token 发送给得分最高的几个。有些设计还会加入一个所有 token 都会用到的共享专家。
两份模型卡片给出了具体数字:
| 模型 | 总参数 | 每个 token 激活 | 专家 |
|---|---|---|---|
| Gemma 4 26B A4B(Google) | 25.2B | 3.8B | 128 个中激活 8 个,另加 1 个共享专家 |
| DeepSeek V4.1 Flash(DeepSeek) | 主干 552B | 预填充阶段 8B,解码阶段 16B | 384 个路由专家中选 6 个,另加 1 个共享专家 |
Google 的卡片说,26B A4B 模型 “runs almost as fast as a 4B-parameter model”(译文:运行速度几乎与 4B 参数的模型一样快)。
为什么重要
- 每个 token 的速度和价格取决于激活参数,因为这就是每个 token 所需的计算量。这也是 MoE 模型能做到规模很大、部署成本却很低的原因。
- 显存取决于总参数。每个专家都必须放在 GPU 显存里,所以 MoE 模型存放权重所需的空间,和总参数相同的稠密模型一样多。量化是常见的压缩办法。
- 质量与这两个数字都没有简单的对应关系。请在你自己的任务上比较模型,而不是比较参数量。
在 BroadNet Inference 上
BroadNet 以模型 ID broadnet/gemma-4-26b-a4b 提供 BroadNet Gemma 4 VL 26B,并称它基于 Google 的 Gemma 4。其模型目录列出的生产版本是 Gemma 4 26B A4B,采用 AWQ 4-bit 权重和多 token 预测。价格为每百万 token 输入 $0.10、输出 $0.22,它也是按小时密钥所用的模型。参见 Gemma 4 VL 26B。
DeepSeek V4.1 Flash 是 BroadNet 上下文长度为 1,048,576 token 的模型,也是固定价格套餐中唯一的模型。它的 MoE 设计由 DeepSeek 记录,而不是由 BroadNet。要从类别上比较开放模型,参见开放权重模型和开放权重模型与闭源模型对比。