Dense मॉडल हर टोकन के लिए हर weight चलाता है। Mixture-of-experts मॉडल सिर्फ़ वे कुछ experts चलाता है जिन्हें उसका router चुनता है।
यह कैसे काम करता है
Shazeer और साथियों ने 2017 में sparsely-gated MoE layer पेश की: हज़ारों तक feed-forward सब-नेटवर्क, जिनमें से “a trainable gating network” (अनुवाद: एक ट्रेन होने वाला gating नेटवर्क) हर इनपुट के लिए “a sparse combination of these experts” (अनुवाद: इन experts का एक sparse मेल) चुनता है। आधुनिक ट्रांसफ़ॉर्मर में कुछ layers का feed-forward ब्लॉक experts का एक सेट बन जाता है। हर टोकन के लिए router experts को स्कोर देता है और टोकन को सबसे ऊपर के कुछ experts के पास भेजता है। कुछ डिज़ाइन एक shared expert जोड़ते हैं जिसे हर टोकन इस्तेमाल करता है।
दो मॉडल कार्ड आँकड़े दिखाते हैं:
| मॉडल | कुल पैरामीटर | प्रति टोकन active | Experts |
|---|---|---|---|
| Gemma 4 26B A4B (Google) | 25.2B | 3.8B | 128 में से 8 active, साथ में 1 shared |
| DeepSeek V4.1 Flash (DeepSeek) | 552B backbone | prefill में 8B, decode में 16B | 384 में से 6 routed, साथ में 1 shared |
Google का कार्ड कहता है कि 26B A4B मॉडल “runs almost as fast as a 4B-parameter model.” (अनुवाद: लगभग 4B पैरामीटर वाले मॉडल जितना तेज़ चलता है।)
यह क्यों मायने रखता है
- प्रति टोकन रफ़्तार और कीमत active पैरामीटर के हिसाब से चलती हैं, क्योंकि हर टोकन को उतना ही compute चाहिए। इसी तरह MoE मॉडल बड़ा होकर भी सर्व करने में सस्ता हो सकता है।
- मेमोरी कुल पैरामीटर के हिसाब से चलती है। हर expert को GPU मेमोरी में रहना होता है, इसलिए MoE मॉडल को weights के लिए उतनी ही जगह चाहिए जितनी उसी कुल साइज़ के dense मॉडल को। क्वांटाइज़ेशन इन्हें समाने का आम तरीक़ा है।
- क्वालिटी इनमें से किसी भी संख्या के साथ साफ़ तौर पर नहीं चलती। मॉडल की तुलना पैरामीटर गिनती पर नहीं, अपने टास्क पर करें।
BroadNet Inference पर
BroadNet, BroadNet Gemma 4 VL 26B को मॉडल ID broadnet/gemma-4-26b-a4b से सर्व करता है और इसे Google के Gemma 4 पर आधारित बताता है। उसका मॉडल कैटलॉग प्रोडक्शन बिल्ड को AWQ 4-bit weights और multi-token prediction के साथ Gemma 4 26B A4B के रूप में सूचीबद्ध करता है। इसकी कीमत प्रति 1M टोकन $0.10 इनपुट और $0.22 आउटपुट है, और यही hourly key के पीछे का मॉडल है। देखें Gemma 4 VL 26B।
DeepSeek V4.1 Flash BroadNet का 1,048,576 टोकन context वाला मॉडल है और फ़्लैट प्लान पर मिलने वाला इकलौता मॉडल। इसका MoE डिज़ाइन DeepSeek ने दर्ज किया है, BroadNet ने नहीं। एक श्रेणी के रूप में ओपन मॉडल की तुलना के लिए ओपन-वेट मॉडल और ओपन-वेट बनाम क्लोज़्ड मॉडल देखें।