---
title: "LLM tokenizer में byte pair encoding (BPE) क्या है? | BroadRouter"
description: "Byte pair encoding सबसे आम symbol जोड़ों को मिलाकर tokenizer की शब्दावली बनाता है। BPE और byte-level BPE कैसे काम करते हैं, और अरबी ज़्यादा टोकन में क्यों बँटती है।"
url: https://broadrouter.com/hi/glossary/bpe/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/bpe/) (2026-11-16 को अपडेट किया गया).

# बाइट पेयर एन्कोडिंग (byte pair encoding, BPE)

अपडेट किया गया 2026-11-16

Byte pair encoding (BPE) एक subword tokenization एल्गोरिदम है जो अकेले कैरेक्टर या bytes से शुरू होता है और सबसे आम पास-पास के जोड़े को बार-बार मिलाकर नई शब्दावली एंट्री बनाता है, जब तक लक्ष्य शब्दावली आकार न आ जाए। आज के ज़्यादातर LLM tokenizer BPE या उसका byte-level रूप इस्तेमाल करते हैं।

अन्य नाम: बीपीई, बाइट पेयर एन्कोडिंग, bpe kya hai, byte pair encoding kya hai, byte pair encoding, byte-pair encoding, byte-level BPE, BPE tokenization

Byte pair encoding ज़्यादातर LLM [tokenizer](https://broadrouter.com/hi/glossary/tokenizer/) के पीछे का नुस्ख़ा है: सीखो कि टेक्स्ट के कौन-से टुकड़े अक्सर साथ आते हैं, और हर आम टुकड़े को अपना टोकन दो।

## यह कैसे काम करता है

Sennrich, Haddow और Birch (2015) ने BPE को, जो मूल रूप से एक कम्प्रेशन तरीक़ा था, अनुवाद पर लागू किया। उनकी बात यह थी कि नाम, संयुक्त शब्द और दुर्लभ शब्द छोटी इकाइयों से बनाए जा सकते हैं, इसलिए मॉडल को हर शब्द के लिए डिक्शनरी एंट्री नहीं चाहिए।

BPE शब्दावली की ट्रेनिंग एक सरल लूप है, जिसे Hugging Face के डॉक्यूमेंटेशन में क़दम-दर-क़दम दिखाया गया है:

1.  ट्रेनिंग कॉर्पस में शब्दों की आवृत्ति गिनें, जैसे `hug` 10, `pug` 5, `pun` 12, `bun` 4, `hugs` 5।
2.  अकेले कैरेक्टर से शुरू करें: `b g h n p s u`।
3.  सबसे आम पास-पास का जोड़ा खोजें। `u` + `g` 20 बार आता है, इसलिए `ug` जोड़ें।
4.  दोहराएँ। `u` + `n` (16 बार) `un` बन जाता है।
5.  लक्ष्य [शब्दावली आकार](https://broadrouter.com/hi/glossary/vocabulary-size/) पर रुकें, जो मूल symbols और merges की संख्या के जोड़ के बराबर है।

नया टेक्स्ट encode करने के लिए tokenizer सीखे हुए merges उसी क्रम में लगाता है। Encoding नियतात्मक है: एक ही टेक्स्ट हमेशा वही टोकन देता है।

**Byte-level BPE** कैरेक्टर के बजाय 256 byte मानों से शुरू होता है। तब हर संभव स्ट्रिंग encode हो सकती है। GPT-2 की शब्दावली 256 bytes + 50,000 merges + 1 end-of-text टोकन = 50,257 थी।

## यह क्यों मायने रखता है

BPE आपके API बिल पर दिखने वाली कई बातें समझाता है:

-   **आम अंग्रेज़ी शब्द एक टोकन होते हैं**, क्योंकि उनके जोड़े जल्दी मिल गए थे।
-   **दुर्लभ शब्द, टाइपो और गैर-लैटिन लिपियाँ ज़्यादा टोकन में बँटती हैं।** UTF-8 में एक अरबी अक्षर 2 bytes लेता है, इसलिए जिस byte-level tokenizer ने कम अरबी merges सीखे, वह प्रति शब्द ज़्यादा टोकन ख़र्च करता है।
-   **गिनती मॉडल के हिसाब से अलग होती है।** हर मॉडल अपने डेटा से अपने merges सीखता है।

2026-11-14 का हमारा माप यह असर दिखाता है। खाड़ी बोली की 117 शब्दों वाली एक ही चैट GLM 5.3 पर 276 टोकन और Qwen3.8 27B पर 229 टोकन थी। यानी 276 / 117 x 100 = 235.9 बनाम 229 / 117 x 100 = 195.7 टोकन प्रति 100 शब्द। उसी चैट का अंग्रेज़ी अनुवाद 202 और 208 टोकन का था, लगभग बराबर।

## BroadNet Inference पर

BroadNet पर आप tokenizer नहीं चुनते; हर मॉडल अपना इस्तेमाल करता है। अरबी ट्रैफ़िक के लिए मॉडल चुनने से पहले [अरबी टोकन काउंटर](https://broadrouter.com/tools/arabic-token-counter/) में अपने असली टेक्स्ट की गिनती मिलाएँ, और पूरी टेबल के लिए [अरबी और अंग्रेज़ी में प्रति शब्द टोकन](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) पढ़ें। याद रखें कि कीमत शब्दों की गिनती से नहीं, [टोकन](https://broadrouter.com/hi/glossary/token/) की गिनती से तय होती है।

## अक्सर पूछे जाने वाले सवाल

### लैंग्वेज मॉडल के लिए BPE किसने बनाया?

BPE एक डेटा कम्प्रेशन एल्गोरिदम के रूप में शुरू हुआ। Sennrich, Haddow और Birch ने 2015 में इसे न्यूरल मशीन ट्रांसलेशन के लिए दुर्लभ शब्दों को subword इकाइयों में बाँटने के लिए अपनाया, और LLM tokenizer उसी काम से निकले।

### Byte-level BPE क्या है?

ऐसा BPE tokenizer जिसकी मूल शब्दावली कैरेक्टर नहीं, बल्कि 256 संभव byte मान हैं, इसलिए किसी भी लिपि का कोई भी टेक्स्ट unknown टोकन के बिना encode हो सकता है। GPT-2 ने इसे 50,257 एंट्री के साथ इस्तेमाल किया।

### BPE अंग्रेज़ी की तुलना में अरबी के लिए ज़्यादा टोकन क्यों बनाता है?

merges ट्रेनिंग डेटा से सीखे जाते हैं। अगर tokenizer ने अरबी कम देखी, तो कम अरबी जोड़े मिले, और अरबी शब्द ज़्यादा टुकड़ों में टूटते हैं।

## यह भी देखें

-   [टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/) (शब्द)
-   [वोकैबुलरी साइज़ (vocabulary size)](https://broadrouter.com/hi/glossary/vocabulary-size/) (शब्द)
-   [टोकन (token)](https://broadrouter.com/hi/glossary/token/) (शब्द)
-   [कॉन्टेक्स्ट विंडो (context window)](https://broadrouter.com/hi/glossary/context-window/) (शब्द)
-   [अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) (लेख)
-   [LLM अनुरोध भेजने से पहले टोकन कैसे गिनें](https://broadrouter.com/hi/blog/count-tokens-before-sending/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-bpe&utm_content=page-cta) ·

**स्रोत**

-   [Sennrich, Haddow और Birch, Neural Machine Translation of Rare Words with Subword Units (arXiv 1508.07909) (जाँच: 2026-11-16)](https://arxiv.org/abs/1508.07909)
-   [Hugging Face Transformers, tokenization एल्गोरिदम (BPE और byte-level BPE) (जाँच: 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
