BroadRouter

混合专家模型(MoE)

更新于

混合专家模型(MoE)是一种神经网络设计:一层中包含许多专家子网络,由一个经过训练的路由器把每个 token 只发送给其中少数几个。MoE 语言模型的总参数量很大,但每个 token 只使用一小部分激活参数。

又称: MoE、混合专家、混合专家架构、稀疏 MoE、稀疏专家模型、激活参数、mixture of experts、sparse MoE、mixture-of-experts model、sparse expert model、active parameters

稠密模型对每个 token 都运行全部权重。混合专家模型只运行路由器挑出的少数几个专家。

原理

Shazeer 等人在 2017 年提出了稀疏门控 MoE 层:最多可包含数千个前馈子网络,由 “a trainable gating network”(译文:一个可训练的门控网络)为每个输入选择 “a sparse combination of these experts”(译文:这些专家的一个稀疏组合)。在现代 Transformer 中,部分层的前馈块会变成一组专家。对每个 token,路由器给各个专家打分,并把 token 发送给得分最高的几个。有些设计还会加入一个所有 token 都会用到的共享专家。

两份模型卡片给出了具体数字:

模型 总参数 每个 token 激活 专家
Gemma 4 26B A4B(Google) 25.2B 3.8B 128 个中激活 8 个,另加 1 个共享专家
DeepSeek V4.1 Flash(DeepSeek) 主干 552B 预填充阶段 8B,解码阶段 16B 384 个路由专家中选 6 个,另加 1 个共享专家

Google 的卡片说,26B A4B 模型 “runs almost as fast as a 4B-parameter model”(译文:运行速度几乎与 4B 参数的模型一样快)。

为什么重要

  • 每个 token 的速度和价格取决于激活参数,因为这就是每个 token 所需的计算量。这也是 MoE 模型能做到规模很大、部署成本却很低的原因。
  • 显存取决于总参数。每个专家都必须放在 GPU 显存里,所以 MoE 模型存放权重所需的空间,和总参数相同的稠密模型一样多。量化是常见的压缩办法。
  • 质量与这两个数字都没有简单的对应关系。请在你自己的任务上比较模型,而不是比较参数量。

在 BroadNet Inference 上

BroadNet 以模型 ID broadnet/gemma-4-26b-a4b 提供 BroadNet Gemma 4 VL 26B,并称它基于 Google 的 Gemma 4。其模型目录列出的生产版本是 Gemma 4 26B A4B,采用 AWQ 4-bit 权重和多 token 预测。价格为每百万 token 输入 $0.10、输出 $0.22,它也是按小时密钥所用的模型。参见 Gemma 4 VL 26B。

DeepSeek V4.1 Flash 是 BroadNet 上下文长度为 1,048,576 token 的模型,也是固定价格套餐中唯一的模型。它的 MoE 设计由 DeepSeek 记录,而不是由 BroadNet。要从类别上比较开放模型,参见开放权重模型和开放权重模型与闭源模型对比。

常见问题

Gemma 4 26B A4B 里的 A4B 是什么意思?

Google 的模型卡片说,“A”代表激活参数(active parameters)。该模型总共有 25.2B 参数,但每个 token 只激活约 3.8B。

DeepSeek V4.1 Flash 是混合专家模型吗?

是。DeepSeek 的模型卡片称它是多模态 MoE 模型,主干参数 552B,每个 MoE 层有 1 个共享专家和 384 个路由专家,每个 token 激活 6 个路由专家。

MoE 模型需要的显存更少吗?

不会。所有专家都必须加载,因为任何 token 都可能被路由到其中任意一个。MoE 节省的是每个 token 的计算量,而不是存放权重的显存。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity