BroadRouter

Mixture of experts (MoE)

Diperbarui

Mixture of experts (MoE) adalah desain jaringan saraf di mana satu layer berisi banyak sub-jaringan expert dan sebuah router yang dilatih mengirim setiap token hanya ke beberapa di antaranya. Model bahasa MoE punya jumlah parameter total yang besar, tetapi hanya memakai subset aktif yang kecil untuk setiap token.

Disebut juga: MoE, mixture of experts, model MoE, sparse MoE, parameter aktif, campuran pakar, mixture-of-experts model, sparse expert model, active parameters

Model dense menjalankan setiap bobot untuk setiap token. Model mixture-of-experts hanya menjalankan beberapa expert yang dipilih router-nya.

Cara kerjanya

Shazeer dkk. memperkenalkan layer MoE sparsely-gated pada 2017: hingga ribuan sub-jaringan feed-forward, dengan “a trainable gating network” (terjemahan: jaringan gating yang bisa dilatih) yang memilih “a sparse combination of these experts” (terjemahan: kombinasi sparse dari expert-expert ini) untuk setiap input. Dalam transformer modern, blok feed-forward di sebagian layer menjadi sekumpulan expert. Untuk setiap token, router memberi skor pada expert dan mengirim token ke beberapa expert teratas. Sebagian desain menambahkan shared expert yang dipakai setiap token.

Dua model card menunjukkan angkanya:

Model Parameter total Aktif per token Expert
Gemma 4 26B A4B (Google) 25,2B 3,8B 8 aktif dari 128, plus 1 shared
DeepSeek V4.1 Flash (DeepSeek) 552B backbone 8B saat prefill, 16B saat decode 6 routed dari 384, plus 1 shared

Model card Google menyebut model 26B A4B “runs almost as fast as a 4B-parameter model.” (terjemahan: berjalan hampir secepat model 4B parameter.)

Kenapa ini penting

  • Kecepatan dan harga per token mengikuti parameter aktif, karena itulah komputasi yang dibutuhkan setiap token. Begitulah model MoE bisa besar tetapi tetap murah untuk disajikan.
  • Memori mengikuti parameter total. Setiap expert harus berada di memori GPU, jadi model MoE butuh ruang untuk bobot sebanyak model dense dengan ukuran total yang sama. Kuantisasi adalah cara umum untuk memuatnya.
  • Kualitas tidak mengikuti kedua angka itu secara rapi. Bandingkan model pada tugas Anda sendiri, bukan pada jumlah parameter.

Di BroadNet Inference

BroadNet menyajikan BroadNet Gemma 4 VL 26B dengan ID model broadnet/gemma-4-26b-a4b dan menggambarkannya sebagai berbasis Gemma 4 dari Google. Katalog modelnya mencantumkan build produksi sebagai Gemma 4 26B A4B dengan bobot AWQ 4-bit dan multi-token prediction. Harganya $0.10 untuk input dan $0.22 untuk output per 1M token, dan model ini yang dipakai oleh kunci per jam. Lihat Gemma 4 VL 26B.

DeepSeek V4.1 Flash adalah model BroadNet dengan konteks 1.048.576 token dan satu-satunya model di paket tarif tetap. Desain MoE-nya didokumentasikan oleh DeepSeek, bukan oleh BroadNet. Untuk perbandingan model terbuka sebagai kategori, lihat model open-weight dan model open-weight vs tertutup.

Pertanyaan umum

Apa arti A4B pada Gemma 4 26B A4B?

Model card Google menyebut "A" berarti parameter aktif. Model ini punya total 25,2B parameter, tetapi mengaktifkan sekitar 3,8B per token.

Apakah DeepSeek V4.1 Flash model mixture-of-experts?

Ya. Model card DeepSeek menyebutnya model MoE multimodal dengan 552B parameter backbone, 1 shared expert dan 384 routed expert per layer MoE, serta 6 routed expert aktif per token.

Apakah model MoE butuh lebih sedikit memori?

Tidak. Semua expert harus dimuat, karena token mana pun bisa diarahkan ke expert mana pun. MoE menghemat komputasi per token, bukan memori untuk bobot.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity