---
title: "Ano ang mixture of experts (MoE) sa LLM? | BroadRouter"
description: "Dinadaan ng MoE na LLM ang bawat token sa ilang expert sub-network lang, kaya bahagi lang ng model ang tumatakbo. Total vs active parameters: Gemma 4 at DeepSeek."
url: https://broadrouter.com/fil/glossary/mixture-of-experts/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/mixture-of-experts/) (na-update noong 2026-11-14).

# Mixture of experts (MoE)

Na-update 2026-11-14

Ang mixture of experts (MoE) ay disenyo ng neural network kung saan may maraming expert sub-network ang isang layer at ipinapadala ng isang natutong router ang bawat token sa iilan lang sa mga ito. Malaki ang kabuuang bilang ng parameter ng isang MoE language model pero maliit na active na bahagi lang ang ginagamit kada token.

Tinatawag ding: MoE, sparse MoE, mixture-of-experts model, sparse expert model, active parameters, MoE model

Pinapatakbo ng isang dense na model ang bawat weight para sa bawat token. Ang mixture-of-experts na model naman ay nagpapatakbo lang ng iilang expert na pinili ng router nito.

## Paano ito gumagana

Ipinakilala nina Shazeer et al. ang sparsely-gated MoE layer noong 2017: hanggang libu-libong feed-forward sub-network, na may “a trainable gating network” (Salin ng BroadRouter: “isang gating network na puwedeng i-train”) na pumipili ng “a sparse combination of these experts” (Salin ng BroadRouter: “isang sparse na kombinasyon ng mga expert na ito”) para sa bawat input. Sa modernong transformer, nagiging set ng mga expert ang feed-forward block ng ilang layer. Para sa bawat token, binibigyan ng score ng router ang mga expert at ipinapadala ang token sa ilang nangunguna. May mga disenyong nagdadagdag ng shared expert na ginagamit ng bawat token.

Ipinapakita ng dalawang model card ang mga numero:

| Model | Kabuuang parameter | Active kada token | Mga expert |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 active sa 128, plus 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B sa prefill, 16B sa decode | 6 routed sa 384, plus 1 shared |

Sinasabi ng card ng Google na ang 26B A4B na model ay “runs almost as fast as a 4B-parameter model.” (Salin ng BroadRouter: “halos kasimbilis tumakbo ng isang 4B-parameter na model.”)

## Bakit ito mahalaga

-   **Bilis at presyo kada token** ay sumusunod sa active parameters, dahil iyon ang compute na kailangan ng bawat token. Kaya puwedeng malaki ang isang MoE model pero mura pa ring i-serve.
-   **Memory** ay sumusunod sa kabuuang parameter. Kailangang nasa GPU memory ang bawat expert, kaya kasinlaki ng espasyo para sa weights ng dense na model na may parehong kabuuang laki ang kailangan ng MoE model. Karaniwang paraan ang [quantization](https://broadrouter.com/fil/glossary/quantization/) para magkasya ang mga ito.
-   **Kalidad** ay hindi malinis na sumusunod sa alinmang numero. Ikumpara ang mga model sa sarili mong task, hindi sa bilang ng parameter.

## Sa BroadNet Inference

Sine-serve ng BroadNet ang BroadNet Gemma 4 VL 26B sa ilalim ng model ID na `broadnet/gemma-4-26b-a4b` at inilalarawan ito bilang nakabatay sa Gemma 4 ng Google. Nakalista sa model catalogue nito ang production build bilang Gemma 4 26B A4B na may AWQ 4-bit na weights at multi-token prediction. $0.10 ang input at $0.22 ang output kada 1M token, at ito ang model sa likod ng hourly key. Tingnan ang [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/).

Ang [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) ang 1,048,576-token-context na model ng BroadNet at ang tanging model sa mga flat plan. Ang DeepSeek, hindi ang BroadNet, ang nagdodokumento ng MoE design nito. Para sa paghahambing ng mga open model bilang kategorya, tingnan ang [open-weight models](https://broadrouter.com/fil/glossary/open-weight-model/) at [open-weight vs closed models](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/).

## Mga tanong

### Ano ang ibig sabihin ng A4B sa Gemma 4 26B A4B?

Ayon sa model card ng Google, active parameters ang ibig sabihin ng "A". 25.2B ang kabuuang parameter ng model pero mga 3.8B lang ang ina-activate kada token.

### Mixture-of-experts model ba ang DeepSeek V4.1 Flash?

Oo. Tinatawag ito ng model card ng DeepSeek na multimodal MoE model na may 552B backbone parameter, 1 shared at 384 routed expert kada MoE layer, at 6 na routed expert na active kada token.

### Mas kaunti ba ang memory na kailangan ng MoE model?

Hindi. Kailangang naka-load ang lahat ng expert, dahil puwedeng mapunta ang anumang token sa alinman sa mga ito. Compute kada token ang natitipid ng MoE, hindi memory para sa weights.

## Tingnan din

-   [Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/) (termino)
-   [Quantization](https://broadrouter.com/fil/glossary/quantization/) (termino)
-   [Tokens per second (TPS)](https://broadrouter.com/fil/glossary/tokens-per-second/) (termino)
-   [KV cache](https://broadrouter.com/fil/glossary/kv-cache/) (termino)
-   [GPU-hour](https://broadrouter.com/fil/glossary/gpu-hour/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Open-weight vs closed na AI model sa negosyo: gastos, kontrol, risk](https://broadrouter.com/fil/blog/open-weight-vs-closed-models/) (artikulo)
-   [Pinakamahusay na open model sa coding agent: tools, context, gastos](https://broadrouter.com/fil/blog/best-open-model-for-coding-agents/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-mixture-of-experts&utm_content=page-cta) ·

**Mga source**

-   [Shazeer et al., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, model card ng Gemma 4 26B A4B instruction-tuned](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, model card ng DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [API reference ng BroadNet Inference, mga model ID (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-mixture-of-experts&utm_content=sources)
-   [Model catalogue ng BroadNet (mga sukat sa lab, Setyembre 2026) (Ingles)](https://www.broadnet.ai/inference/models)
