Um modelo denso executa todos os pesos para cada token. Um modelo mixture of experts executa só os poucos especialistas que o roteador escolhe.
Como funciona
Shazeer et al. apresentaram a camada MoE com gating esparso em 2017: até milhares de sub-redes feed-forward, com “a trainable gating network” (tradução: uma rede de gating treinável) escolhendo “a sparse combination of these experts” (tradução: uma combinação esparsa desses especialistas) para cada entrada. Em um transformer moderno, o bloco feed-forward de algumas camadas vira um conjunto de especialistas. Para cada token, o roteador pontua os especialistas e envia o token para os primeiros colocados. Algumas arquiteturas adicionam um especialista compartilhado usado por todos os tokens.
Dois model cards mostram os números:
| Modelo | Parâmetros totais | Ativos por token | Especialistas |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2B | 3,8B | 8 ativos de 128, mais 1 compartilhado |
| DeepSeek V4.1 Flash (DeepSeek) | 552B de backbone | 8B no prefill, 16B no decode | 6 roteados de 384, mais 1 compartilhado |
O card do Google diz que o modelo 26B A4B “runs almost as fast as a 4B-parameter model.” (tradução: roda quase tão rápido quanto um modelo de 4B parâmetros).
Por que importa
- Velocidade e preço por token acompanham os parâmetros ativos, já que essa é a computação que cada token exige. É assim que um modelo MoE pode ser grande e ainda barato de servir.
- A memória acompanha os parâmetros totais. Todo especialista precisa ficar na memória da GPU, então um modelo MoE precisa de tanto espaço para os pesos quanto um modelo denso do mesmo tamanho total. A quantização é uma forma comum de fazê-los caber.
- A qualidade não acompanha claramente nenhum dos dois números. Compare modelos na sua própria tarefa, não pela contagem de parâmetros.
Na BroadNet Inference
A BroadNet serve o BroadNet Gemma 4 VL 26B com o ID de modelo broadnet/gemma-4-26b-a4b e o descreve como baseado no Gemma 4 do Google. O catálogo de modelos dela lista a build de produção como Gemma 4 26B A4B com pesos AWQ de 4 bits e multi-token prediction. Ele custa $0.10 de entrada e $0.22 de saída por 1M de tokens, e é o modelo por trás da chave por hora. Veja Gemma 4 VL 26B.
O DeepSeek V4.1 Flash é o modelo da BroadNet com contexto de 1.048.576 tokens e o único modelo dos planos de preço fixo. A arquitetura MoE dele é documentada pela DeepSeek, não pela BroadNet. Para comparar modelos abertos como categoria, veja modelos open-weight e modelos open-weight vs. fechados.