Model dense menjalankan setiap bobot untuk setiap token. Model mixture-of-experts hanya menjalankan beberapa expert yang dipilih router-nya.
Cara kerjanya
Shazeer dkk. memperkenalkan layer MoE sparsely-gated pada 2017: hingga ribuan sub-jaringan feed-forward, dengan “a trainable gating network” (terjemahan: jaringan gating yang bisa dilatih) yang memilih “a sparse combination of these experts” (terjemahan: kombinasi sparse dari expert-expert ini) untuk setiap input. Dalam transformer modern, blok feed-forward di sebagian layer menjadi sekumpulan expert. Untuk setiap token, router memberi skor pada expert dan mengirim token ke beberapa expert teratas. Sebagian desain menambahkan shared expert yang dipakai setiap token.
Dua model card menunjukkan angkanya:
| Model | Parameter total | Aktif per token | Expert |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25,2B | 3,8B | 8 aktif dari 128, plus 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B saat prefill, 16B saat decode | 6 routed dari 384, plus 1 shared |
Model card Google menyebut model 26B A4B “runs almost as fast as a 4B-parameter model.” (terjemahan: berjalan hampir secepat model 4B parameter.)
Kenapa ini penting
- Kecepatan dan harga per token mengikuti parameter aktif, karena itulah komputasi yang dibutuhkan setiap token. Begitulah model MoE bisa besar tetapi tetap murah untuk disajikan.
- Memori mengikuti parameter total. Setiap expert harus berada di memori GPU, jadi model MoE butuh ruang untuk bobot sebanyak model dense dengan ukuran total yang sama. Kuantisasi adalah cara umum untuk memuatnya.
- Kualitas tidak mengikuti kedua angka itu secara rapi. Bandingkan model pada tugas Anda sendiri, bukan pada jumlah parameter.
Di BroadNet Inference
BroadNet menyajikan BroadNet Gemma 4 VL 26B dengan ID model broadnet/gemma-4-26b-a4b dan menggambarkannya sebagai berbasis Gemma 4 dari Google. Katalog modelnya mencantumkan build produksi sebagai Gemma 4 26B A4B dengan bobot AWQ 4-bit dan multi-token prediction. Harganya $0.10 untuk input dan $0.22 untuk output per 1M token, dan model ini yang dipakai oleh kunci per jam. Lihat Gemma 4 VL 26B.
DeepSeek V4.1 Flash adalah model BroadNet dengan konteks 1.048.576 token dan satu-satunya model di paket tarif tetap. Desain MoE-nya didokumentasikan oleh DeepSeek, bukan oleh BroadNet. Untuk perbandingan model terbuka sebagai kategori, lihat model open-weight dan model open-weight vs tertutup.