Một model dense chạy mọi trọng số cho mọi token. Một model mixture-of-experts chỉ chạy vài expert mà router của nó chọn.
Cách hoạt động
Shazeer và cộng sự giới thiệu layer MoE có cổng thưa (sparsely-gated) vào năm 2017: tới hàng nghìn mạng con feed-forward, với “a trainable gating network” (Bản dịch: một mạng cổng có thể huấn luyện) chọn “a sparse combination of these experts” (Bản dịch: một tổ hợp thưa của các expert này) cho mỗi đầu vào. Trong transformer hiện đại, khối feed-forward của một số layer trở thành một tập expert. Với mỗi token, router chấm điểm các expert và gửi token tới vài expert đứng đầu. Một số thiết kế thêm một expert dùng chung mà mọi token đều dùng.
Hai model card cho thấy các con số:
| Model | Tổng tham số | Active mỗi token | Expert |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 8 active trên 128, cộng 1 dùng chung |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | 8B khi prefill, 16B khi decode | 6 được định tuyến trên 384, cộng 1 dùng chung |
Model card của Google nói model 26B A4B “runs almost as fast as a 4B-parameter model.” (Bản dịch: chạy gần nhanh bằng một model 4B tham số.)
Vì sao quan trọng
- Tốc độ và giá mỗi token đi theo số tham số active, vì đó là lượng tính toán mỗi token cần. Đó là cách một model MoE có thể lớn mà vẫn rẻ khi phục vụ.
- Bộ nhớ đi theo tổng số tham số. Mọi expert đều phải nằm trong bộ nhớ GPU, nên model MoE cần nhiều chỗ cho trọng số như một model dense có cùng tổng kích thước. Lượng tử hóa là cách phổ biến để vừa bộ nhớ.
- Chất lượng không đi theo con số nào một cách rõ ràng. Hãy so sánh model trên tác vụ của bạn, không phải trên số tham số.
Trên BroadNet Inference
BroadNet phục vụ BroadNet Gemma 4 VL 26B dưới ID model broadnet/gemma-4-26b-a4b và mô tả nó dựa trên Gemma 4 của Google. Danh mục model của họ ghi bản production là Gemma 4 26B A4B với trọng số AWQ 4-bit và multi-token prediction. Giá là $0.10 đầu vào và $0.22 đầu ra cho mỗi 1 triệu token, và đây là model đứng sau key theo giờ. Xem Gemma 4 VL 26B.
DeepSeek V4.1 Flash là model context 1,048,576 token của BroadNet và là model duy nhất trong các gói giá cố định. Thiết kế MoE của nó do DeepSeek công bố, không phải BroadNet. Để so sánh các model mở như một nhóm, xem model open-weight và model open-weight và model đóng.