---
title: "Apakah itu mixture of experts (MoE) dalam LLM? | BroadRouter"
description: "LLM MoE menghalakan setiap token melalui beberapa subrangkaian pakar, jadi hanya sebahagian model berjalan. Parameter keseluruhan vs aktif: Gemma 4 dan DeepSeek."
url: https://broadrouter.com/ms/glossary/mixture-of-experts/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/mixture-of-experts/) (dikemas kini 2026-11-14).

# Mixture of experts (MoE, campuran pakar)

Dikemas kini 2026-11-14

Mixture of experts (MoE) ialah reka bentuk rangkaian neural di mana satu lapisan mengandungi banyak subrangkaian pakar dan penghala yang dipelajari menghantar setiap token kepada hanya beberapa daripadanya. Model bahasa MoE mempunyai jumlah parameter yang besar tetapi menggunakan subset aktif yang kecil bagi setiap token.

Juga dikenali sebagai: MoE, campuran pakar, sparse MoE, mixture-of-experts model, sparse expert model, active parameters, parameter aktif

Model padat menjalankan setiap pemberat untuk setiap token. Model mixture-of-experts hanya menjalankan beberapa pakar yang dipilih oleh penghalanya.

## Cara ia berfungsi

Shazeer et al. memperkenalkan lapisan MoE sparsely-gated pada 2017: sehingga ribuan subrangkaian feed-forward, dengan “a trainable gating network” (Terjemahan BroadRouter: “rangkaian get yang boleh dilatih”) yang memilih “a sparse combination of these experts” (Terjemahan BroadRouter: “gabungan jarang pakar-pakar ini”) bagi setiap input. Dalam transformer moden, blok feed-forward sesetengah lapisan menjadi satu set pakar. Bagi setiap token, penghala memberi skor kepada pakar dan menghantar token kepada beberapa yang teratas. Sesetengah reka bentuk menambah pakar dikongsi yang digunakan oleh setiap token.

Dua kad model menunjukkan angkanya:

| Model | Jumlah parameter | Aktif bagi setiap token | Pakar |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 aktif daripada 128, tambah 1 dikongsi |
| DeepSeek V4.1 Flash (DeepSeek) | 552B tulang belakang | 8B semasa prefill, 16B semasa decode | 6 dihalakan daripada 384, tambah 1 dikongsi |

Kad Google menyatakan model 26B A4B “runs almost as fast as a 4B-parameter model.” (Terjemahan BroadRouter: “berjalan hampir sepantas model 4B parameter.”)

## Mengapa ia penting

-   **Kelajuan dan harga setiap token** mengikut parameter aktif, kerana itulah pengiraan yang diperlukan oleh setiap token. Begitulah model MoE boleh menjadi besar tetapi masih murah untuk disajikan.
-   **Memori** mengikut jumlah parameter. Setiap pakar perlu berada dalam memori GPU, jadi model MoE memerlukan ruang untuk pemberat sebanyak model padat dengan jumlah saiz yang sama. [Kuantisasi](https://broadrouter.com/ms/glossary/quantization/) ialah cara lazim untuk memuatkannya.
-   **Kualiti** tidak mengikut mana-mana angka dengan kemas. Bandingkan model pada tugas anda sendiri, bukan pada bilangan parameter.

## Di BroadNet Inference

BroadNet menyajikan BroadNet Gemma 4 VL 26B di bawah ID model `broadnet/gemma-4-26b-a4b` dan menerangkannya sebagai berasaskan Gemma 4 daripada Google. Katalog modelnya menyenaraikan binaan produksi sebagai Gemma 4 26B A4B dengan pemberat AWQ 4-bit dan ramalan berbilang token. Harganya $0.10 input dan $0.22 output setiap 1M token, dan ia ialah model di sebalik kunci sejam. Lihat [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) ialah model konteks 1,048,576 token BroadNet dan satu-satunya model pada pelan harga tetap. Reka bentuk MoE-nya didokumenkan oleh DeepSeek, bukan oleh BroadNet. Untuk perbandingan model terbuka sebagai satu kategori, lihat [model open-weight](https://broadrouter.com/ms/glossary/open-weight-model/) dan [model open-weight vs tertutup](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/).

## Soalan lazim

### Apakah maksud A4B dalam Gemma 4 26B A4B?

Kad model Google menyatakan "A" bermaksud parameter aktif. Model itu mempunyai 25.2B parameter secara keseluruhan tetapi mengaktifkan kira-kira 3.8B bagi setiap token.

### Adakah DeepSeek V4.1 Flash model mixture-of-experts?

Ya. Kad model DeepSeek menyebutnya model MoE multimodal dengan 552B parameter tulang belakang, 1 pakar dikongsi dan 384 pakar dihalakan bagi setiap lapisan MoE, dan 6 pakar dihalakan aktif bagi setiap token.

### Adakah model MoE memerlukan kurang memori?

Tidak. Semua pakar mesti dimuatkan, kerana mana-mana token boleh dihalakan ke mana-mana pakar. MoE menjimatkan pengiraan bagi setiap token, bukan memori untuk pemberat.

## Lihat juga

-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/ms/glossary/quantization/) (istilah)
-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [Jam GPU (GPU-hour)](https://broadrouter.com/ms/glossary/gpu-hour/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Model AI open-weight vs tertutup bagi perniagaan: kos, kawalan, risiko](https://broadrouter.com/ms/blog/open-weight-vs-closed-models/) (artikel)
-   [Model terbuka terbaik untuk ejen pengekodan: alat, konteks dan kos](https://broadrouter.com/ms/blog/best-open-model-for-coding-agents/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-mixture-of-experts&utm_content=page-cta) ·

**Sumber**

-   [Shazeer et al., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, kad model Gemma 4 26B A4B instruction-tuned](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, kad model DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Rujukan API BroadNet Inference, ID model (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-mixture-of-experts&utm_content=sources)
-   [Katalog model BroadNet (ukuran makmal, September 2026) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models)
