Pinapatakbo ng isang dense na model ang bawat weight para sa bawat token. Ang mixture-of-experts na model naman ay nagpapatakbo lang ng iilang expert na pinili ng router nito.
Paano ito gumagana
Ipinakilala nina Shazeer et al. ang sparsely-gated MoE layer noong 2017: hanggang libu-libong feed-forward sub-network, na may “a trainable gating network” (Salin ng BroadRouter: “isang gating network na puwedeng i-train”) na pumipili ng “a sparse combination of these experts” (Salin ng BroadRouter: “isang sparse na kombinasyon ng mga expert na ito”) para sa bawat input. Sa modernong transformer, nagiging set ng mga expert ang feed-forward block ng ilang layer. Para sa bawat token, binibigyan ng score ng router ang mga expert at ipinapadala ang token sa ilang nangunguna. May mga disenyong nagdadagdag ng shared expert na ginagamit ng bawat token.
Ipinapakita ng dalawang model card ang mga numero:
| Model | Kabuuang parameter | Active kada token | Mga expert |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 active sa 128, plus 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B sa prefill, 16B sa decode | 6 routed sa 384, plus 1 shared |
Sinasabi ng card ng Google na ang 26B A4B na model ay “runs almost as fast as a 4B-parameter model.” (Salin ng BroadRouter: “halos kasimbilis tumakbo ng isang 4B-parameter na model.”)
Bakit ito mahalaga
- Bilis at presyo kada token ay sumusunod sa active parameters, dahil iyon ang compute na kailangan ng bawat token. Kaya puwedeng malaki ang isang MoE model pero mura pa ring i-serve.
- Memory ay sumusunod sa kabuuang parameter. Kailangang nasa GPU memory ang bawat expert, kaya kasinlaki ng espasyo para sa weights ng dense na model na may parehong kabuuang laki ang kailangan ng MoE model. Karaniwang paraan ang quantization para magkasya ang mga ito.
- Kalidad ay hindi malinis na sumusunod sa alinmang numero. Ikumpara ang mga model sa sarili mong task, hindi sa bilang ng parameter.
Sa BroadNet Inference
Sine-serve ng BroadNet ang BroadNet Gemma 4 VL 26B sa ilalim ng model ID na broadnet/gemma-4-26b-a4b at inilalarawan ito bilang nakabatay sa Gemma 4 ng Google. Nakalista sa model catalogue nito ang production build bilang Gemma 4 26B A4B na may AWQ 4-bit na weights at multi-token prediction. $0.10 ang input at $0.22 ang output kada 1M token, at ito ang model sa likod ng hourly key. Tingnan ang Gemma 4 VL 26B.
Ang DeepSeek V4.1 Flash ang 1,048,576-token-context na model ng BroadNet at ang tanging model sa mga flat plan. Ang DeepSeek, hindi ang BroadNet, ang nagdodokumento ng MoE design nito. Para sa paghahambing ng mga open model bilang kategorya, tingnan ang open-weight models at open-weight vs closed models.