BroadRouter

Mixture of experts (MoE)

अपडेट किया गया

Mixture of experts (MoE) एक न्यूरल नेटवर्क डिज़ाइन है जिसमें एक layer में कई expert सब-नेटवर्क होते हैं और एक सीखा हुआ router हर टोकन को उनमें से सिर्फ़ कुछ के पास भेजता है। MoE लैंग्वेज मॉडल के कुल पैरामीटर बहुत होते हैं, लेकिन हर टोकन पर वह एक छोटा active हिस्सा ही इस्तेमाल करता है।

अन्य नाम: मिक्सचर ऑफ़ एक्सपर्ट्स, MoE मॉडल, active पैरामीटर, moe kya hai, mixture of experts kya hai, MoE, sparse MoE, mixture-of-experts model, sparse expert model, active parameters

Dense मॉडल हर टोकन के लिए हर weight चलाता है। Mixture-of-experts मॉडल सिर्फ़ वे कुछ experts चलाता है जिन्हें उसका router चुनता है।

यह कैसे काम करता है

Shazeer और साथियों ने 2017 में sparsely-gated MoE layer पेश की: हज़ारों तक feed-forward सब-नेटवर्क, जिनमें से “a trainable gating network” (अनुवाद: एक ट्रेन होने वाला gating नेटवर्क) हर इनपुट के लिए “a sparse combination of these experts” (अनुवाद: इन experts का एक sparse मेल) चुनता है। आधुनिक ट्रांसफ़ॉर्मर में कुछ layers का feed-forward ब्लॉक experts का एक सेट बन जाता है। हर टोकन के लिए router experts को स्कोर देता है और टोकन को सबसे ऊपर के कुछ experts के पास भेजता है। कुछ डिज़ाइन एक shared expert जोड़ते हैं जिसे हर टोकन इस्तेमाल करता है।

दो मॉडल कार्ड आँकड़े दिखाते हैं:

मॉडल कुल पैरामीटर प्रति टोकन active Experts
Gemma 4 26B A4B (Google) 25.2B 3.8B 128 में से 8 active, साथ में 1 shared
DeepSeek V4.1 Flash (DeepSeek) 552B backbone prefill में 8B, decode में 16B 384 में से 6 routed, साथ में 1 shared

Google का कार्ड कहता है कि 26B A4B मॉडल “runs almost as fast as a 4B-parameter model.” (अनुवाद: लगभग 4B पैरामीटर वाले मॉडल जितना तेज़ चलता है।)

यह क्यों मायने रखता है

  • प्रति टोकन रफ़्तार और कीमत active पैरामीटर के हिसाब से चलती हैं, क्योंकि हर टोकन को उतना ही compute चाहिए। इसी तरह MoE मॉडल बड़ा होकर भी सर्व करने में सस्ता हो सकता है।
  • मेमोरी कुल पैरामीटर के हिसाब से चलती है। हर expert को GPU मेमोरी में रहना होता है, इसलिए MoE मॉडल को weights के लिए उतनी ही जगह चाहिए जितनी उसी कुल साइज़ के dense मॉडल को। क्वांटाइज़ेशन इन्हें समाने का आम तरीक़ा है।
  • क्वालिटी इनमें से किसी भी संख्या के साथ साफ़ तौर पर नहीं चलती। मॉडल की तुलना पैरामीटर गिनती पर नहीं, अपने टास्क पर करें।

BroadNet Inference पर

BroadNet, BroadNet Gemma 4 VL 26B को मॉडल ID broadnet/gemma-4-26b-a4b से सर्व करता है और इसे Google के Gemma 4 पर आधारित बताता है। उसका मॉडल कैटलॉग प्रोडक्शन बिल्ड को AWQ 4-bit weights और multi-token prediction के साथ Gemma 4 26B A4B के रूप में सूचीबद्ध करता है। इसकी कीमत प्रति 1M टोकन $0.10 इनपुट और $0.22 आउटपुट है, और यही hourly key के पीछे का मॉडल है। देखें Gemma 4 VL 26B।

DeepSeek V4.1 Flash BroadNet का 1,048,576 टोकन context वाला मॉडल है और फ़्लैट प्लान पर मिलने वाला इकलौता मॉडल। इसका MoE डिज़ाइन DeepSeek ने दर्ज किया है, BroadNet ने नहीं। एक श्रेणी के रूप में ओपन मॉडल की तुलना के लिए ओपन-वेट मॉडल और ओपन-वेट बनाम क्लोज़्ड मॉडल देखें।

अक्सर पूछे जाने वाले सवाल

Gemma 4 26B A4B में A4B का क्या मतलब है?

Google का मॉडल कार्ड कहता है कि "A" का मतलब active पैरामीटर है। मॉडल में कुल 25.2B पैरामीटर हैं, लेकिन हर टोकन पर लगभग 3.8B ही active होते हैं।

क्या DeepSeek V4.1 Flash एक mixture-of-experts मॉडल है?

हाँ। DeepSeek का मॉडल कार्ड इसे multimodal MoE मॉडल बताता है, जिसमें 552B backbone पैरामीटर हैं, हर MoE layer में 1 shared और 384 routed experts हैं, और हर टोकन पर 6 routed experts active होते हैं।

क्या MoE मॉडल को कम मेमोरी चाहिए?

नहीं। सभी experts लोड होने चाहिए, क्योंकि कोई भी टोकन किसी भी expert के पास जा सकता है। MoE प्रति टोकन compute बचाता है, weights की मेमोरी नहीं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें