---
title: "Apa itu mixture of experts (MoE) pada LLM? | BroadRouter"
description: "LLM MoE mengarahkan setiap token ke beberapa sub-jaringan expert, jadi hanya sebagian model berjalan. Parameter total vs aktif; contoh Gemma 4 dan DeepSeek."
url: https://broadrouter.com/id/glossary/mixture-of-experts/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/mixture-of-experts/) (diperbarui 2026-11-14).

# Mixture of experts (MoE)

Diperbarui 2026-11-14

Mixture of experts (MoE) adalah desain jaringan saraf di mana satu layer berisi banyak sub-jaringan expert dan sebuah router yang dilatih mengirim setiap token hanya ke beberapa di antaranya. Model bahasa MoE punya jumlah parameter total yang besar, tetapi hanya memakai subset aktif yang kecil untuk setiap token.

Disebut juga: MoE, mixture of experts, model MoE, sparse MoE, parameter aktif, campuran pakar, mixture-of-experts model, sparse expert model, active parameters

Model dense menjalankan setiap bobot untuk setiap token. Model mixture-of-experts hanya menjalankan beberapa expert yang dipilih router-nya.

## Cara kerjanya

Shazeer dkk. memperkenalkan layer MoE sparsely-gated pada 2017: hingga ribuan sub-jaringan feed-forward, dengan “a trainable gating network” (terjemahan: jaringan gating yang bisa dilatih) yang memilih “a sparse combination of these experts” (terjemahan: kombinasi sparse dari expert-expert ini) untuk setiap input. Dalam transformer modern, blok feed-forward di sebagian layer menjadi sekumpulan expert. Untuk setiap token, router memberi skor pada expert dan mengirim token ke beberapa expert teratas. Sebagian desain menambahkan shared expert yang dipakai setiap token.

Dua model card menunjukkan angkanya:

| Model | Parameter total | Aktif per token | Expert |
| --- | --- | --- | --- |
| Gemma 4 26B A4B (Google) | 25,2B | 3,8B | 8 aktif dari 128, plus 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B saat prefill, 16B saat decode | 6 routed dari 384, plus 1 shared |

Model card Google menyebut model 26B A4B “runs almost as fast as a 4B-parameter model.” (terjemahan: berjalan hampir secepat model 4B parameter.)

## Kenapa ini penting

-   **Kecepatan dan harga per token** mengikuti parameter aktif, karena itulah komputasi yang dibutuhkan setiap token. Begitulah model MoE bisa besar tetapi tetap murah untuk disajikan.
-   **Memori** mengikuti parameter total. Setiap expert harus berada di memori GPU, jadi model MoE butuh ruang untuk bobot sebanyak model dense dengan ukuran total yang sama. [Kuantisasi](https://broadrouter.com/id/glossary/quantization/) adalah cara umum untuk memuatnya.
-   **Kualitas** tidak mengikuti kedua angka itu secara rapi. Bandingkan model pada tugas Anda sendiri, bukan pada jumlah parameter.

## Di BroadNet Inference

BroadNet menyajikan BroadNet Gemma 4 VL 26B dengan ID model `broadnet/gemma-4-26b-a4b` dan menggambarkannya sebagai berbasis Gemma 4 dari Google. Katalog modelnya mencantumkan build produksi sebagai Gemma 4 26B A4B dengan bobot AWQ 4-bit dan multi-token prediction. Harganya $0.10 untuk input dan $0.22 untuk output per 1M token, dan model ini yang dipakai oleh kunci per jam. Lihat [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/).

[DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) adalah model BroadNet dengan konteks 1.048.576 token dan satu-satunya model di paket tarif tetap. Desain MoE-nya didokumentasikan oleh DeepSeek, bukan oleh BroadNet. Untuk perbandingan model terbuka sebagai kategori, lihat [model open-weight](https://broadrouter.com/id/glossary/open-weight-model/) dan [model open-weight vs tertutup](https://broadrouter.com/id/blog/open-weight-vs-closed-models/).

## Pertanyaan umum

### Apa arti A4B pada Gemma 4 26B A4B?

Model card Google menyebut "A" berarti parameter aktif. Model ini punya total 25,2B parameter, tetapi mengaktifkan sekitar 3,8B per token.

### Apakah DeepSeek V4.1 Flash model mixture-of-experts?

Ya. Model card DeepSeek menyebutnya model MoE multimodal dengan 552B parameter backbone, 1 shared expert dan 384 routed expert per layer MoE, serta 6 routed expert aktif per token.

### Apakah model MoE butuh lebih sedikit memori?

Tidak. Semua expert harus dimuat, karena token mana pun bisa diarahkan ke expert mana pun. MoE menghemat komputasi per token, bukan memori untuk bobot.

## Lihat juga

-   [Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/) (istilah)
-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [Token per detik (tokens per second, TPS)](https://broadrouter.com/id/glossary/tokens-per-second/) (istilah)
-   [KV cache](https://broadrouter.com/id/glossary/kv-cache/) (istilah)
-   [GPU-hour (jam GPU)](https://broadrouter.com/id/glossary/gpu-hour/) (istilah)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Model AI open-weight vs tertutup untuk bisnis: biaya, kontrol, risiko](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) (artikel)
-   [Model terbuka terbaik untuk agen coding: tools, konteks, dan biaya](https://broadrouter.com/id/blog/best-open-model-for-coding-agents/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-mixture-of-experts&utm_content=page-cta) ·

**Sumber**

-   [Shazeer dkk., Outrageously Large Neural Networks, the Sparsely-Gated Mixture-of-Experts Layer, arXiv 1701.06538](https://arxiv.org/abs/1701.06538)
-   [Google, model card Gemma 4 26B A4B instruction-tuned](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [DeepSeek, model card DeepSeek-V4.1-Flash](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)
-   [Referensi API BroadNet Inference, ID model (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-mixture-of-experts&utm_content=sources)
-   [Katalog model BroadNet (pengukuran lab, September 2026) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
