Model padat menjalankan setiap pemberat untuk setiap token. Model mixture-of-experts hanya menjalankan beberapa pakar yang dipilih oleh penghalanya.
Cara ia berfungsi
Shazeer et al. memperkenalkan lapisan MoE sparsely-gated pada 2017: sehingga ribuan subrangkaian feed-forward, dengan “a trainable gating network” (Terjemahan BroadRouter: “rangkaian get yang boleh dilatih”) yang memilih “a sparse combination of these experts” (Terjemahan BroadRouter: “gabungan jarang pakar-pakar ini”) bagi setiap input. Dalam transformer moden, blok feed-forward sesetengah lapisan menjadi satu set pakar. Bagi setiap token, penghala memberi skor kepada pakar dan menghantar token kepada beberapa yang teratas. Sesetengah reka bentuk menambah pakar dikongsi yang digunakan oleh setiap token.
Dua kad model menunjukkan angkanya:
| Model | Jumlah parameter | Aktif bagi setiap token | Pakar |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 aktif daripada 128, tambah 1 dikongsi |
| DeepSeek V4.1 Flash (DeepSeek) | 552B tulang belakang | 8B semasa prefill, 16B semasa decode | 6 dihalakan daripada 384, tambah 1 dikongsi |
Kad Google menyatakan model 26B A4B “runs almost as fast as a 4B-parameter model.” (Terjemahan BroadRouter: “berjalan hampir sepantas model 4B parameter.”)
Mengapa ia penting
- Kelajuan dan harga setiap token mengikut parameter aktif, kerana itulah pengiraan yang diperlukan oleh setiap token. Begitulah model MoE boleh menjadi besar tetapi masih murah untuk disajikan.
- Memori mengikut jumlah parameter. Setiap pakar perlu berada dalam memori GPU, jadi model MoE memerlukan ruang untuk pemberat sebanyak model padat dengan jumlah saiz yang sama. Kuantisasi ialah cara lazim untuk memuatkannya.
- Kualiti tidak mengikut mana-mana angka dengan kemas. Bandingkan model pada tugas anda sendiri, bukan pada bilangan parameter.
Di BroadNet Inference
BroadNet menyajikan BroadNet Gemma 4 VL 26B di bawah ID model broadnet/gemma-4-26b-a4b dan menerangkannya sebagai berasaskan Gemma 4 daripada Google. Katalog modelnya menyenaraikan binaan produksi sebagai Gemma 4 26B A4B dengan pemberat AWQ 4-bit dan ramalan berbilang token. Harganya $0.10 input dan $0.22 output setiap 1M token, dan ia ialah model di sebalik kunci sejam. Lihat Gemma 4 VL 26B.
DeepSeek V4.1 Flash ialah model konteks 1,048,576 token BroadNet dan satu-satunya model pada pelan harga tetap. Reka bentuk MoE-nya didokumenkan oleh DeepSeek, bukan oleh BroadNet. Untuk perbandingan model terbuka sebagai satu kategori, lihat model open-weight dan model open-weight vs tertutup.