BroadRouter

Mixture of experts (MoE, mélange d’experts)

Mis à jour

Le mixture of experts (MoE) est une architecture de réseau de neurones dans laquelle une couche contient de nombreux sous-réseaux experts et un routeur appris envoie chaque token vers quelques-uns seulement. Un modèle de langage MoE a un grand nombre total de paramètres mais n’en utilise qu’un petit sous-ensemble actif par token.

Aussi appelé : MoE, mixture of experts, mélange d’experts, modèle MoE, MoE creux, paramètres actifs, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Un modèle dense fait tourner chaque poids pour chaque token. Un modèle mixture of experts ne fait tourner que les quelques experts choisis par son routeur.

Comment ça marche

Shazeer et al. ont introduit en 2017 la couche MoE à portes parcimonieuses : jusqu’à des milliers de sous-réseaux feed-forward, avec « a trainable gating network » (traduction : « un réseau de portes entraînable ») qui choisit « a sparse combination of these experts » (traduction : « une combinaison parcimonieuse de ces experts ») pour chaque entrée. Dans un transformer moderne, le bloc feed-forward de certaines couches devient un ensemble d’experts. Pour chaque token, le routeur note les experts et envoie le token aux quelques meilleurs. Certaines architectures ajoutent un expert partagé utilisé par tous les tokens.

Deux fiches de modèles donnent les chiffres :

Modèle Paramètres totaux Actifs par token Experts
Gemma 4 26B A4B (Google) 25,2 milliards 3,8 milliards 8 actifs sur 128, plus 1 partagé
DeepSeek V4.1 Flash (DeepSeek) 552 milliards (backbone) 8 milliards en prefill, 16 milliards en decode 6 routés sur 384, plus 1 partagé

La fiche de Google indique que le modèle 26B A4B « runs almost as fast as a 4B-parameter model » (traduction : « tourne presque aussi vite qu’un modèle de 4 milliards de paramètres »).

Pourquoi c’est important

  • La vitesse et le prix par token suivent les paramètres actifs, car c’est le calcul nécessaire à chaque token. C’est ainsi qu’un modèle MoE peut être grand tout en restant peu coûteux à servir.
  • La mémoire suit les paramètres totaux. Chaque expert doit résider en mémoire GPU : un modèle MoE demande donc autant de place pour ses poids qu’un modèle dense de même taille totale. La quantification est un moyen courant de les faire tenir.
  • La qualité ne suit proprement ni l’un ni l’autre de ces chiffres. Comparez les modèles sur votre propre tâche, pas sur leur nombre de paramètres.

Sur BroadNet Inference

BroadNet sert BroadNet Gemma 4 VL 26B sous l’ID de modèle broadnet/gemma-4-26b-a4b et le décrit comme basé sur Gemma 4 de Google. Son catalogue de modèles présente la version de production comme Gemma 4 26B A4B avec des poids AWQ 4 bits et multi-token prediction. Il coûte $0.10 en entrée et $0.22 en sortie par million de tokens, et c’est le modèle derrière la clé horaire. Voir Gemma 4 VL 26B.

DeepSeek V4.1 Flash est le modèle de BroadNet doté d’un contexte de 1 048 576 tokens, et le seul modèle inclus dans les forfaits. Son architecture MoE est documentée par DeepSeek, pas par BroadNet. Pour comparer les modèles ouverts en tant que catégorie, voir modèles open-weight et modèles open-weight ou fermés.

Questions fréquentes

Que signifie A4B dans Gemma 4 26B A4B ?

D’après la fiche du modèle de Google, le « A » désigne les paramètres actifs. Le modèle compte 25,2 milliards de paramètres au total mais en active environ 3,8 milliards par token.

DeepSeek V4.1 Flash est-il un modèle mixture of experts ?

Oui. La fiche du modèle de DeepSeek le présente comme un modèle MoE multimodal de 552 milliards de paramètres de backbone, avec 1 expert partagé et 384 experts routés par couche MoE, et 6 experts routés actifs par token.

Un modèle MoE demande-t-il moins de mémoire ?

Non. Tous les experts doivent être chargés, car n’importe quel token peut être routé vers n’importe lequel. Le MoE économise du calcul par token, pas de la mémoire pour les poids.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity