---
title: "LLM टोकनाइज़र में वोकैबुलरी साइज़ क्या है? | BroadRouter"
description: "वोकैबुलरी साइज़ बताता है कि मॉडल कितने अलग टोकन जानता है। DeepSeek, GLM, Qwen और Gemma के मापे गए साइज़, और बड़ा होने का मतलब हमेशा कम टोकन क्यों नहीं।"
url: https://broadrouter.com/hi/glossary/vocabulary-size/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/vocabulary-size/) (2026-11-16 को अपडेट किया गया).

# वोकैबुलरी साइज़ (vocabulary size)

अपडेट किया गया 2026-11-16

वोकैबुलरी साइज़ किसी लैंग्वेज मॉडल के टोकनाइज़र में अलग-अलग टोकन की संख्या है, जिनमें हर एक का अपना ID और embedding होता है। बड़ी वोकैबुलरी आम टेक्स्ट को कम टोकन में लिख सकती है, पर इससे embedding और आउटपुट लेयर बड़ी होती हैं, और यह सिर्फ़ उसी टेक्स्ट पर मदद करती है जिस पर वोकैबुलरी ट्रेन हुई।

अन्य नाम: वोकैबुलरी साइज़, टोकनाइज़र वोकैबुलरी, टोकन वोकैबुलरी, vocab size kya hai, vocabulary size kya hai, vocab size, vocab\_size, tokenizer vocabulary, token vocabulary

वोकैबुलरी साइज़ बताता है कि मॉडल टेक्स्ट के कितने अलग-अलग टुकड़ों को एक ही [टोकन](https://broadrouter.com/hi/glossary/token/) से दर्शा सकता है।

## यह कैसे काम करता है

[BPE](https://broadrouter.com/hi/glossary/bpe/) टोकनाइज़र की वोकैबुलरी उसके बेस सिंबल और उसके सीखे हर merge से मिलकर बनती है। Hugging Face का डॉक्यूमेंटेशन मूल GPT का उदाहरण देता है: 478 बेस टोकन + 40,000 merges = 40,478। बनाने वाला ट्रेनिंग से पहले लक्ष्य साइज़ चुनता है।

हमने 2026-11-14 को Hugging Face पर हर मॉडल की पिन की हुई `tokenizer.json` से वोकैबुलरी पढ़ी:

| टोकनाइज़र | वोकैबुलरी एंट्री | स्पेशल टोकन समेत कुल ID |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (Google बेस) | 262,144 | 262,144 |
| OpenAI o200k\_base (संदर्भ) | 199,998 | 200,019 |

Gemma 4 का मॉडल कार्ड 262K वोकैबुलरी बताता है, जो मेल खाता है। Qwen3.8 का कार्ड 248,320 का “padded” embedding साइज़ बताता है, जो असल में इस्तेमाल हुए 248,077 ID से बड़ा है।

## यह क्यों मायने रखता है

API यूज़र के लिए वोकैबुलरी साइज़ प्रति शब्द लागत का एक अप्रत्यक्ष संकेत है। असल फ़र्क़ इससे पड़ता है कि merges किस टेक्स्ट पर ट्रेन हुए। हमारे [टोकनाइज़र डेटासेट](https://broadrouter.com/data/tokenizer-efficiency/) में Modern Standard Arabic के उन्हीं 39,037 शब्दों पर प्रति 100 शब्द टोकन की तुलना करें:

-   DeepSeek V4.1 Flash, 128,000 एंट्री: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3, 154,820 एंट्री: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B, 248,044 एंट्री: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4, 262,144 एंट्री: 79,120 / 39,037 x 100 = 202.7

GLM 5.3 में DeepSeek से ज़्यादा एंट्री हैं, फिर भी इस टेक्स्ट पर वह ज़्यादा टोकन लेता है। Gemma में सबसे ज़्यादा एंट्री हैं, पर वह सबसे कॉम्पैक्ट नहीं है। अंग्रेज़ी गद्य पर पाँचों प्रति 100 शब्द 127 से 132 टोकन के बीच रहते हैं, इसलिए वहाँ वोकैबुलरी साइज़ से मुश्किल से फ़र्क़ पड़ता है।

नियम: वोकैबुलरी की संख्या से लागत का अंदाज़ा लगाने के बजाय अपना टेक्स्ट मॉडल के [टोकनाइज़र](https://broadrouter.com/hi/glossary/tokenizer/) से मापें।

## BroadNet Inference पर

BroadNet वोकैबुलरी साइज़ प्रकाशित नहीं करता; ऊपर के आँकड़े पब्लिक मॉडल रिपॉज़िटरी से हैं। Gemma वाली पंक्ति Google के बेस टोकनाइज़र पर आधारित है, और हम मानते हैं कि BroadNet का Gemma 4 VL 26B बिल्ड उसे ही रखता है। अपने प्रॉम्प्ट पर असर देखने के लिए [टोकन काउंटर](https://broadrouter.com/tools/token-counter/) इस्तेमाल करें, और अरबी के लिए मॉडल चुनने पर [अरबी के लिए LLM चुनना](https://broadrouter.com/hi/blog/choosing-an-llm-for-arabic/) के साथ [प्रति शब्द टोकन स्टडी](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) पढ़ें।

## अक्सर पूछे जाने वाले सवाल

### क्या बड़ी वोकैबुलरी का मतलब कम टोकन है?

अक्सर, पर हमेशा नहीं। हमारे 2026-11-14 के टेस्ट में Gemma 4 की वोकैबुलरी सबसे बड़ी (262,144) थी, फिर भी उसने एक अरबी टेक्स्ट पर 347 टोकन लिए, जिसे 248,044 एंट्री वाले Qwen3.8 27B ने 316 में लिखा।

### vocab\_size और टोकनाइज़र फ़ाइल में अंतर क्यों होता है?

मॉडल कॉन्फ़िग अक्सर embedding टेबल को किसी गोल संख्या तक पैड करते हैं और स्पेशल टोकन के लिए ID रिज़र्व रखते हैं। Qwen3.8 27B का पैडेड साइज़ 248,320 है, जबकि उसकी tokenizer.json 0 से 248,076 तक के ID इस्तेमाल करती है (ID 0 से शुरू होते हैं), यानी कुल 248,077।

### किसी मॉडल का वोकैबुलरी साइज़ कहाँ मिलेगा?

मॉडल की config.json में vocab\_size के रूप में, या उसकी tokenizer.json लोड करके एंट्री गिनकर। कॉन्फ़िग की वैल्यू अक्सर पैडेड होती है, इसलिए इस्तेमाल हो रहे टोकन की सटीक गिनती टोकनाइज़र फ़ाइल देती है।

## यह भी देखें

-   [टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/) (शब्द)
-   [बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)](https://broadrouter.com/hi/glossary/bpe/) (शब्द)
-   [टोकन (token)](https://broadrouter.com/hi/glossary/token/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) (लेख)
-   [अरबी के लिए LLM API कैसे चुनें: क्या-क्या टेस्ट करें](https://broadrouter.com/hi/blog/choosing-an-llm-for-arabic/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-vocabulary-size&utm_content=page-cta) ·

**स्रोत**

-   [Hugging Face Transformers, टोकनाइज़ेशन एल्गोरिद्म (वोकैबुलरी साइज़ = बेस + merges)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face मॉडल कार्ड, google/gemma-4-26B-A4B-it (262K वोकैबुलरी)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face मॉडल कार्ड, Qwen/Qwen3.8-27B (248,320 पैडेड embedding)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face मॉडल रिपॉज़िटरी, zai-org/GLM-5.3 (GLM tokenizer.json का सोर्स)](https://huggingface.co/zai-org/GLM-5.3)
