Un modèle dense fait tourner chaque poids pour chaque token. Un modèle mixture of experts ne fait tourner que les quelques experts choisis par son routeur.
Comment ça marche
Shazeer et al. ont introduit en 2017 la couche MoE à portes parcimonieuses : jusqu’à des milliers de sous-réseaux feed-forward, avec « a trainable gating network » (traduction : « un réseau de portes entraînable ») qui choisit « a sparse combination of these experts » (traduction : « une combinaison parcimonieuse de ces experts ») pour chaque entrée. Dans un transformer moderne, le bloc feed-forward de certaines couches devient un ensemble d’experts. Pour chaque token, le routeur note les experts et envoie le token aux quelques meilleurs. Certaines architectures ajoutent un expert partagé utilisé par tous les tokens.
Deux fiches de modèles donnent les chiffres :
| Modèle | Paramètres totaux | Actifs par token | Experts |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2 milliards | 3,8 milliards | 8 actifs sur 128, plus 1 partagé |
| DeepSeek V4.1 Flash (DeepSeek) | 552 milliards (backbone) | 8 milliards en prefill, 16 milliards en decode | 6 routés sur 384, plus 1 partagé |
La fiche de Google indique que le modèle 26B A4B « runs almost as fast as a 4B-parameter model » (traduction : « tourne presque aussi vite qu’un modèle de 4 milliards de paramètres »).
Pourquoi c’est important
- La vitesse et le prix par token suivent les paramètres actifs, car c’est le calcul nécessaire à chaque token. C’est ainsi qu’un modèle MoE peut être grand tout en restant peu coûteux à servir.
- La mémoire suit les paramètres totaux. Chaque expert doit résider en mémoire GPU : un modèle MoE demande donc autant de place pour ses poids qu’un modèle dense de même taille totale. La quantification est un moyen courant de les faire tenir.
- La qualité ne suit proprement ni l’un ni l’autre de ces chiffres. Comparez les modèles sur votre propre tâche, pas sur leur nombre de paramètres.
Sur BroadNet Inference
BroadNet sert BroadNet Gemma 4 VL 26B sous l’ID de modèle broadnet/gemma-4-26b-a4b et le décrit comme basé sur Gemma 4 de Google. Son catalogue de modèles présente la version de production comme Gemma 4 26B A4B avec des poids AWQ 4 bits et multi-token prediction. Il coûte $0.10 en entrée et $0.22 en sortie par million de tokens, et c’est le modèle derrière la clé horaire. Voir Gemma 4 VL 26B.
DeepSeek V4.1 Flash est le modèle de BroadNet doté d’un contexte de 1 048 576 tokens, et le seul modèle inclus dans les forfaits. Son architecture MoE est documentée par DeepSeek, pas par BroadNet. Pour comparer les modèles ouverts en tant que catégorie, voir modèles open-weight et modèles open-weight ou fermés.