Un modelo denso ejecuta todos sus pesos para cada token. Un modelo mixture of experts ejecuta solo los pocos expertos que elige su router.
Cómo funciona
Shazeer et al. introdujeron en 2017 la capa MoE con compuerta dispersa: hasta miles de subredes feed-forward, con “a trainable gating network” (traducción: una red de compuerta entrenable) que elige “a sparse combination of these experts” (traducción: una combinación dispersa de estos expertos) para cada entrada. En un transformer moderno, el bloque feed-forward de algunas capas se convierte en un conjunto de expertos. Para cada token, el router puntúa a los expertos y envía el token a los mejores. Algunos diseños añaden un experto compartido que usan todos los tokens.
Dos fichas de modelo muestran las cifras:
| Modelo | Parámetros totales | Activos por token | Expertos |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 activos de 128, más 1 compartido |
| DeepSeek V4.1 Flash (DeepSeek) | 552B de backbone | 8B en prefill, 16B en decode | 6 enrutados de 384, más 1 compartido |
La ficha de Google dice que el modelo 26B A4B “runs almost as fast as a 4B-parameter model.” (traducción: funciona casi tan rápido como un modelo de 4B parámetros).
Por qué importa
- La velocidad y el precio por token dependen de los parámetros activos, porque ese es el cómputo que necesita cada token. Así es como un modelo MoE puede ser grande y aun así barato de servir.
- La memoria depende de los parámetros totales. Todos los expertos deben estar en la memoria de la GPU, así que un modelo MoE necesita tanto espacio para pesos como un modelo denso del mismo tamaño total. La cuantización es una forma habitual de hacerlos caber.
- La calidad no sigue con claridad ninguna de las dos cifras. Compare modelos en su propia tarea, no por número de parámetros.
En BroadNet Inference
BroadNet sirve BroadNet Gemma 4 VL 26B con el ID de modelo broadnet/gemma-4-26b-a4b y lo describe como basado en Gemma 4 de Google. Su catálogo de modelos indica que la versión de producción es Gemma 4 26B A4B con pesos AWQ de 4 bits y predicción multitoken. Cuesta $0.10 de entrada y $0.22 de salida por 1M de tokens, y es el modelo de la clave por hora. Consulte Gemma 4 VL 26B.
DeepSeek V4.1 Flash es el modelo de BroadNet con contexto de 1,048,576 tokens y el único incluido en los planes de tarifa plana. Su diseño MoE lo documenta DeepSeek, no BroadNet. Para comparar los modelos abiertos como categoría, consulte modelos de pesos abiertos y modelos de pesos abiertos frente a cerrados.