BroadRouter

Mixture of experts (MoE)

Cập nhật

Mixture of experts (MoE) là kiến trúc mạng nơ-ron trong đó một layer chứa nhiều mạng con expert và một router đã học chỉ gửi mỗi token tới vài expert trong số đó. Model ngôn ngữ MoE có tổng số tham số lớn nhưng mỗi token chỉ dùng một tập con active nhỏ.

Còn gọi là: MoE là gì, model MoE, kiến trúc MoE, hỗn hợp chuyên gia, tham số active, MoE, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Một model dense chạy mọi trọng số cho mọi token. Một model mixture-of-experts chỉ chạy vài expert mà router của nó chọn.

Cách hoạt động

Shazeer và cộng sự giới thiệu layer MoE có cổng thưa (sparsely-gated) vào năm 2017: tới hàng nghìn mạng con feed-forward, với “a trainable gating network” (Bản dịch: một mạng cổng có thể huấn luyện) chọn “a sparse combination of these experts” (Bản dịch: một tổ hợp thưa của các expert này) cho mỗi đầu vào. Trong transformer hiện đại, khối feed-forward của một số layer trở thành một tập expert. Với mỗi token, router chấm điểm các expert và gửi token tới vài expert đứng đầu. Một số thiết kế thêm một expert dùng chung mà mọi token đều dùng.

Hai model card cho thấy các con số:

Model Tổng tham số Active mỗi token Expert
Gemma 4 26B A4B (Google) 25.2B 3.8B 8 active trên 128, cộng 1 dùng chung
DeepSeek V4.1 Flash (DeepSeek) 552B backbone 8B khi prefill, 16B khi decode 6 được định tuyến trên 384, cộng 1 dùng chung

Model card của Google nói model 26B A4B “runs almost as fast as a 4B-parameter model.” (Bản dịch: chạy gần nhanh bằng một model 4B tham số.)

Vì sao quan trọng

  • Tốc độ và giá mỗi token đi theo số tham số active, vì đó là lượng tính toán mỗi token cần. Đó là cách một model MoE có thể lớn mà vẫn rẻ khi phục vụ.
  • Bộ nhớ đi theo tổng số tham số. Mọi expert đều phải nằm trong bộ nhớ GPU, nên model MoE cần nhiều chỗ cho trọng số như một model dense có cùng tổng kích thước. Lượng tử hóa là cách phổ biến để vừa bộ nhớ.
  • Chất lượng không đi theo con số nào một cách rõ ràng. Hãy so sánh model trên tác vụ của bạn, không phải trên số tham số.

Trên BroadNet Inference

BroadNet phục vụ BroadNet Gemma 4 VL 26B dưới ID model broadnet/gemma-4-26b-a4b và mô tả nó dựa trên Gemma 4 của Google. Danh mục model của họ ghi bản production là Gemma 4 26B A4B với trọng số AWQ 4-bit và multi-token prediction. Giá là $0.10 đầu vào và $0.22 đầu ra cho mỗi 1 triệu token, và đây là model đứng sau key theo giờ. Xem Gemma 4 VL 26B.

DeepSeek V4.1 Flash là model context 1,048,576 token của BroadNet và là model duy nhất trong các gói giá cố định. Thiết kế MoE của nó do DeepSeek công bố, không phải BroadNet. Để so sánh các model mở như một nhóm, xem model open-weight và model open-weight và model đóng.

Câu hỏi thường gặp

A4B trong Gemma 4 26B A4B nghĩa là gì?

Model card của Google nói “A” là viết tắt của active parameters (tham số active). Model có tổng cộng 25.2B tham số nhưng mỗi token chỉ kích hoạt khoảng 3.8B.

DeepSeek V4.1 Flash có phải model mixture-of-experts không?

Có. Model card của DeepSeek gọi nó là model MoE đa phương thức với 552B tham số backbone, mỗi layer MoE có 1 expert dùng chung và 384 expert được định tuyến, và 6 expert được định tuyến active cho mỗi token.

Model MoE có tốn ít bộ nhớ hơn không?

Không. Mọi expert đều phải được nạp, vì bất kỳ token nào cũng có thể được định tuyến tới bất kỳ expert nào. MoE tiết kiệm phép tính cho mỗi token, không tiết kiệm bộ nhớ cho trọng số.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity