BroadRouter

वोकैबुलरी साइज़ (vocabulary size)

अपडेट किया गया

वोकैबुलरी साइज़ किसी लैंग्वेज मॉडल के टोकनाइज़र में अलग-अलग टोकन की संख्या है, जिनमें हर एक का अपना ID और embedding होता है। बड़ी वोकैबुलरी आम टेक्स्ट को कम टोकन में लिख सकती है, पर इससे embedding और आउटपुट लेयर बड़ी होती हैं, और यह सिर्फ़ उसी टेक्स्ट पर मदद करती है जिस पर वोकैबुलरी ट्रेन हुई।

अन्य नाम: वोकैबुलरी साइज़, टोकनाइज़र वोकैबुलरी, टोकन वोकैबुलरी, vocab size kya hai, vocabulary size kya hai, vocab size, vocab_size, tokenizer vocabulary, token vocabulary

वोकैबुलरी साइज़ बताता है कि मॉडल टेक्स्ट के कितने अलग-अलग टुकड़ों को एक ही टोकन से दर्शा सकता है।

यह कैसे काम करता है

BPE टोकनाइज़र की वोकैबुलरी उसके बेस सिंबल और उसके सीखे हर merge से मिलकर बनती है। Hugging Face का डॉक्यूमेंटेशन मूल GPT का उदाहरण देता है: 478 बेस टोकन + 40,000 merges = 40,478। बनाने वाला ट्रेनिंग से पहले लक्ष्य साइज़ चुनता है।

हमने 2026-11-14 को Hugging Face पर हर मॉडल की पिन की हुई tokenizer.json से वोकैबुलरी पढ़ी:

टोकनाइज़र वोकैबुलरी एंट्री स्पेशल टोकन समेत कुल ID
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (Google बेस) 262,144 262,144
OpenAI o200k_base (संदर्भ) 199,998 200,019

Gemma 4 का मॉडल कार्ड 262K वोकैबुलरी बताता है, जो मेल खाता है। Qwen3.8 का कार्ड 248,320 का “padded” embedding साइज़ बताता है, जो असल में इस्तेमाल हुए 248,077 ID से बड़ा है।

यह क्यों मायने रखता है

API यूज़र के लिए वोकैबुलरी साइज़ प्रति शब्द लागत का एक अप्रत्यक्ष संकेत है। असल फ़र्क़ इससे पड़ता है कि merges किस टेक्स्ट पर ट्रेन हुए। हमारे टोकनाइज़र डेटासेट में Modern Standard Arabic के उन्हीं 39,037 शब्दों पर प्रति 100 शब्द टोकन की तुलना करें:

  • DeepSeek V4.1 Flash, 128,000 एंट्री: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3, 154,820 एंट्री: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B, 248,044 एंट्री: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4, 262,144 एंट्री: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 में DeepSeek से ज़्यादा एंट्री हैं, फिर भी इस टेक्स्ट पर वह ज़्यादा टोकन लेता है। Gemma में सबसे ज़्यादा एंट्री हैं, पर वह सबसे कॉम्पैक्ट नहीं है। अंग्रेज़ी गद्य पर पाँचों प्रति 100 शब्द 127 से 132 टोकन के बीच रहते हैं, इसलिए वहाँ वोकैबुलरी साइज़ से मुश्किल से फ़र्क़ पड़ता है।

नियम: वोकैबुलरी की संख्या से लागत का अंदाज़ा लगाने के बजाय अपना टेक्स्ट मॉडल के टोकनाइज़र से मापें।

BroadNet Inference पर

BroadNet वोकैबुलरी साइज़ प्रकाशित नहीं करता; ऊपर के आँकड़े पब्लिक मॉडल रिपॉज़िटरी से हैं। Gemma वाली पंक्ति Google के बेस टोकनाइज़र पर आधारित है, और हम मानते हैं कि BroadNet का Gemma 4 VL 26B बिल्ड उसे ही रखता है। अपने प्रॉम्प्ट पर असर देखने के लिए टोकन काउंटर इस्तेमाल करें, और अरबी के लिए मॉडल चुनने पर अरबी के लिए LLM चुनना के साथ प्रति शब्द टोकन स्टडी पढ़ें।

अक्सर पूछे जाने वाले सवाल

क्या बड़ी वोकैबुलरी का मतलब कम टोकन है?

अक्सर, पर हमेशा नहीं। हमारे 2026-11-14 के टेस्ट में Gemma 4 की वोकैबुलरी सबसे बड़ी (262,144) थी, फिर भी उसने एक अरबी टेक्स्ट पर 347 टोकन लिए, जिसे 248,044 एंट्री वाले Qwen3.8 27B ने 316 में लिखा।

vocab_size और टोकनाइज़र फ़ाइल में अंतर क्यों होता है?

मॉडल कॉन्फ़िग अक्सर embedding टेबल को किसी गोल संख्या तक पैड करते हैं और स्पेशल टोकन के लिए ID रिज़र्व रखते हैं। Qwen3.8 27B का पैडेड साइज़ 248,320 है, जबकि उसकी tokenizer.json 0 से 248,076 तक के ID इस्तेमाल करती है (ID 0 से शुरू होते हैं), यानी कुल 248,077।

किसी मॉडल का वोकैबुलरी साइज़ कहाँ मिलेगा?

मॉडल की config.json में vocab_size के रूप में, या उसकी tokenizer.json लोड करके एंट्री गिनकर। कॉन्फ़िग की वैल्यू अक्सर पैडेड होती है, इसलिए इस्तेमाल हो रहे टोकन की सटीक गिनती टोकनाइज़र फ़ाइल देती है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें