---
title: "प्रति शब्द टोकन: अरबी बनाम अंग्रेज़ी, और कैसे मापें | BroadRouter"
description: "एक ही अर्थ के लिए अरबी में अक्सर अंग्रेज़ी से ज़्यादा LLM टोकन क्यों लगते हैं, प्रति शब्द टोकन क्यों भ्रामक है, और usage फ़ील्ड से अपना अनुपात मापने की स्क्रिप्ट।"
url: https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (2026-11-16 को अपडेट किया गया).

# अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है

BroadNet Inference टीम · 6 मिनट में पढ़ें · प्रकाशित 2026-11-14 · अपडेट किया गया 2026-11-16

कोई एक आँकड़ा नहीं है: यह हर मॉडल के tokenizer पर निर्भर है। BroadRouter के मापे गए डेटासेट में, एक ही मानक आधुनिक अरबी टेक्स्ट को अपने अंग्रेज़ी अनुवाद के 1.31× (Qwen3.8 27B) से 1.77× (GLM 5.3) टोकन चाहिए, और अंग्रेज़ी गद्य के 1,000 शब्द औसतन लगभग 1,290 टोकन बनते हैं। अपना अनुपात usage.prompt\_tokens से मापें।

## मुख्य बातें

-   प्रति शब्द टोकन हर मॉडल के tokenizer का गुण है, सिर्फ़ भाषा का नहीं।
-   कई tokenizers पर हुआ शोध पाता है कि एक ही कंटेंट अक्सर अंग्रेज़ी से अरबी में ज़्यादा टोकन लेता है।
-   समानांतर टेक्स्ट (दोनों भाषाओं में एक ही अर्थ) की तुलना करें, प्रति शब्द टोकन की नहीं: एक अरबी शब्द कई अंग्रेज़ी शब्दों का अर्थ ले सकता है।
-   उसी मॉडल पर usage.prompt\_tokens से मापें जो आप इस्तेमाल करेंगे, और संदेश के overhead के लिए एक baseline घटाएँ।
-   हरकात, तत्वील और मिली-जुली लिपियाँ गिनती बदलती हैं; इनपुट को एक जैसे normalise करें।

**इस पेज पर**

1.  अरबी को कितने ज़्यादा टोकन चाहिए? मापे गए आँकड़े
2.  tokenizer क्या करता है?
3.  अरबी में अक्सर ज़्यादा टोकन क्यों लगते हैं?
4.  प्रति शब्द टोकन ग़लत मीट्रिक क्यों है?
5.  अपना अनुपात कैसे मापें?
6.  लागत और कॉन्टेक्स्ट के लिए इसका क्या मतलब है?
7.  अरबी टोकन गिनती कैसे घटाएँ?

अगर आप LLM API पर अरबी प्रोडक्ट बनाते हैं, तो आपका बिल टोकन में गिना जाता है, शब्दों में नहीं। और अरबी में लिखा वही संदेश अक्सर अपने अंग्रेज़ी अनुवाद से ज़्यादा टोकन बन जाता है। इसका असर लागत, कॉन्टेक्स्ट सीमाओं और latency पर पड़ता है। यह पोस्ट बताती है कि ऐसा क्यों होता है, “प्रति शब्द टोकन” भ्रामक संख्या क्यों है, और जिस मॉडल को आप इस्तेमाल करते हैं उस पर अपने कंटेंट का असली अनुपात कैसे मापें।

## अरबी को कितने ज़्यादा टोकन चाहिए? मापे गए आँकड़े

हमने इसे हर मॉडल के असली tokenizer से समानांतर टेक्स्ट (अंग्रेज़ी और अरबी में एक ही अर्थ) पर मापा। पूरी टेबल, 95% intervals और तरीक़ा मुफ़्त [tokenizer दक्षता डेटासेट](https://broadrouter.com/data/tokenizer-efficiency/) में है (CSV और JSON, CC BY 4.0, संस्करण 4, 2026-11-15 को मापा गया):

| Tokenizer | अरबी ÷ अंग्रेज़ी, मानक आधुनिक (2,009 FLORES-200 वाक्य) | अरबी ÷ अंग्रेज़ी, खाड़ी बोली (49 Tatoeba वाक्य) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

अंग्रेज़ी गद्य (Wikipedia और Project Gutenberg) पाँचों पर प्रति 100 शब्द लगभग 127 से 132 टोकन आया। मानक आधुनिक अरबी के अनुपात दोनों भाषाओं में उन्हीं 2,009 FLORES-200 वाक्यों से हैं (अंग्रेज़ी Wikimedia लेखों से लिया गया औपचारिक समाचार, यात्रा और विश्वकोश टेक्स्ट, पेशेवर रूप से अनूदित)। FLORES-200 में खाड़ी अरबी नहीं है, इसलिए खाड़ी वाला कॉलम 49 छोटे Tatoeba वाक्य-जोड़ों का इस्तेमाल करता है और कहीं कम सटीक है; डेटासेट पेज हर आँकड़े का interval देता है। इनमें से कुछ भी आपका ट्रैफ़िक नहीं है, इसलिए अनुपातों को योजना के लिए इस्तेमाल करें और बजट बनाने से पहले अपना कंटेंट मापें। [अरबी टोकन काउंटर](https://broadrouter.com/tools/arabic-token-counter/) पेस्ट किए गए टेक्स्ट को हर tokenizer पर गिनता है, और [टोकन से शब्द](https://broadrouter.com/tools/tokens-to-words/) दोनों दिशाओं में बदलता है।

इन अनुपातों को पैसों में बदलने के लिए हमारा [भाषा के हिसाब से असली लागत डेटासेट](https://broadrouter.com/data/real-cost-by-language/) हर उस मॉडल पर, जिसे हम किसी मापे गए tokenizer से मिला सके, अलग-अलग प्रोवाइडरों में हर भाषा के 10 लाख (1M) कैरेक्टर की कीमत निकालता है। प्रति टोकन सस्ती कीमत का मतलब हमेशा सस्ता अरबी बिल नहीं होता।

## tokenizer क्या करता है?

मॉडल के टेक्स्ट देखने से पहले, tokenizer उसे एक तय vocabulary से लिए गए टोकन में बाँटता है। ज़्यादातर आधुनिक tokenizers byte-pair encoding (BPE), WordPiece या SentencePiece जैसे subword तरीक़े इस्तेमाल करते हैं, जिनका वर्णन Hugging Face के [tokenizers के सारांश](https://huggingface.co/docs/transformers/tokenizer_summary) में है। ट्रेनिंग डेटा की आम strings एक टोकन बन जाती हैं; दुर्लभ strings छोटे टुकड़ों में, ज़रूरत पड़ने पर अकेले bytes तक, तोड़ी जाती हैं।

vocabulary एक ट्रेनिंग corpus से सीखी जाती है। उस corpus में जो भाषाएँ हावी होती हैं, उन्हें सबसे कुशल encoding मिलती है। हर मॉडल परिवार का अपना tokenizer है, इसलिए DeepSeek, Qwen, GLM और Gemma मॉडल एक ही अरबी वाक्य को काफ़ी अलग संख्या के टोकन में बाँट सकते हैं।

## अरबी में अक्सर ज़्यादा टोकन क्यों लगते हैं?

### 1\. ट्रेनिंग डेटा का असंतुलन

कई tokenizers ऐसे टेक्स्ट पर ट्रेन हुए जिसमें अंग्रेज़ी का हिस्सा बहुत ज़्यादा है। आम अंग्रेज़ी शब्द एक-एक टोकन बन जाते हैं; कई आम अरबी शब्द कई टुकड़ों में बँटते हैं। Petrov et al. (2023) ने इसे कई tokenizers और भाषाओं में मापा और पाया कि एक ही कंटेंट के लिए ज़रूरी टोकन में बड़े अंतर हैं, और अंग्रेज़ी आमतौर पर सबसे सस्ती में से है। Ahia et al. (2023) व्यावसायिक API के लिए ऐसे ही नतीजे पर पहुँचे और नोट किया कि इसका सीधा असर अलग-अलग भाषाओं के बोलने वालों के भुगतान पर पड़ता है।

### 2\. अरबी morphology

अरबी संयोजक, पूर्वसर्ग, article और सर्वनाम सीधे शब्दों से जोड़ती है। एक लिखा हुआ शब्द वह सब ले सकता है जो अंग्रेज़ी कई शब्दों में फैलाती है:

| अरबी | मोटा अंग्रेज़ी अर्थ |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

जिस tokenizer ने कोई ख़ास जोड़ काफ़ी बार नहीं देखा, वह उसे अक्सर टुकड़ों में बाँटता है। इससे प्रति **शब्द** टोकन बढ़ते हैं, भले ही प्रति **अर्थ** टोकन ठीक-ठाक हों।

### 3\. लिपि के ब्योरे

हरकात (तश्कील), तत्वील (खिंचाव वाला कैरेक्टर), अलिफ़ और हम्ज़ा के अलग रूप, और अरबी-भारतीय अंक, सब अतिरिक्त कैरेक्टर या रूप हैं जिन्हें tokenizer को encode करना पड़ता है। मिला-जुला अरबी और लैटिन टेक्स्ट, और Arabizi (अंकों के साथ लैटिन अक्षरों में लिखी अरबी), भी अप्रत्याशित तरीक़ों से टूट सकते हैं। देखें [LLMs Arabizi को कैसे संभालते हैं](https://broadrouter.com/hi/blog/arabizi-llm-handling/)।

## प्रति शब्द टोकन ग़लत मीट्रिक क्यों है?

क्योंकि एक अरबी शब्द अक्सर कई अंग्रेज़ी शब्दों के बराबर होता है, “अरबी प्रति शब्द N टोकन लेती है” और “अंग्रेज़ी प्रति शब्द M टोकन लेती है” की तुलना नहीं हो सकती। ज़्यादा उचित सवाल है: **एक ही कंटेंट को हर भाषा में कितने टोकन चाहिए?** समानांतर टेक्स्ट इस्तेमाल करें, यानी दोनों भाषाओं में लिखा एक ही संदेश, और कुल टोकन की तुलना करें। यही अनुपात आपका बिल बदलता है।

OpenAI का अक्सर उद्धृत मोटा नियम, प्रति टोकन लगभग चार कैरेक्टर या शब्द का तीन-चौथाई, OpenAI के अपने tokenizers पर अंग्रेज़ी के लिए दिया गया है। यह अरबी या दूसरे मॉडल परिवारों पर लागू नहीं होता, इसलिए इसे अरबी बजट के लिए इस्तेमाल न करें।

## अपना अनुपात कैसे मापें?

usage फ़ील्ड ही असली सच है: इसी पर आपका बिल बनता है। यह स्क्रिप्ट समानांतर टेक्स्ट एक मॉडल को भेजती है और `usage.prompt_tokens` पढ़ती है। यह एक baseline घटाती है ताकि तय chat-template overhead छोटे टेक्स्ट को न बिगाड़े। यह [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) इस्तेमाल करती है, जो मुफ़्त शुरुआती क्रेडिट पर चलता है और reasoning नहीं करता; इसकी जगह वह मॉडल रखें जो आप सच में इस्तेमाल करेंगे।

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

भरोसे लायक संख्या पाने के लिए:

1.  **अपने domain से 50–200 असली जोड़े इस्तेमाल करें**: सपोर्ट संदेश, प्रोडक्ट विवरण, इनवॉइस। छोटे डेमो वाक्य शोर भरे होते हैं।
2.  **वही बोली इस्तेमाल करें जो आपके यूज़र्स लिखते हैं।** खाड़ी, मिस्री और लेवेंटाइन टेक्स्ट मानक आधुनिक अरबी से अलग tokenize हो सकता है।
3.  **हर मॉडल पर अलग चलाएँ।** एक मॉडल पर मापा गया अनुपात दूसरे के बारे में कम बताता है। अगर आप मॉडलों के बीच चुन रहे हैं, तो वही जोड़े हर एक पर चलाएँ; [अरबी के लिए LLM चुनना](https://broadrouter.com/hi/blog/choosing-an-llm-for-arabic/) गुणवत्ता बताती है, जो टोकन गिनती जितनी ही मायने रखती है।
4.  **आउटपुट भी मापें।** हर मॉडल से अरबी और अंग्रेज़ी में जवाब माँगें और `completion_tokens` की तुलना करें। हर मॉडल पर आउटपुट प्रति टोकन इनपुट से महँगा है, इसलिए आउटपुट अनुपात ज़्यादा मायने रख सकता है।

अगर मॉडल का tokenizer प्रकाशित है (उदाहरण के लिए Hugging Face पर), तो आप उस tokenizer से offline भी टोकन गिन सकते हैं। फिर भी अंतिम शब्द API का usage फ़ील्ड है, क्योंकि इसमें सर्वर का लगाया chat template शामिल होता है।

### नतीजे कैसे पढ़ें

जब आपके पास हर मॉडल का अनुपात हो, तो तीन पैटर्न आम हैं:

-   **1 के क़रीब।** tokenizer आपकी अरबी अच्छे से संभालता है। एक ही कंटेंट के लिए अरबी और अंग्रेज़ी ट्रैफ़िक की लागत लगभग बराबर है।
-   **साफ़ तौर पर 1 से ऊपर।** अरबी प्रति संदेश महँगी है। पूर्वानुमानों और कॉन्टेक्स्ट सीमाओं में इसका हिसाब रखें, और सोचें कि क्या कोई दूसरा मॉडल मिलती-जुलती गुणवत्ता पर आपकी अरबी ज़्यादा कुशलता से संभालता है।
-   **आपके नमूनों में बहुत अलग।** आमतौर पर मिले-जुले कंटेंट का संकेत: हरकात वाला टेक्स्ट, Arabizi, संख्याएँ, URLs या अरबी संदेशों के अंदर कोड। नमूनों को प्रकार के हिसाब से बाँटें और हर एक अलग मापें।

स्क्रिप्ट रखें और मॉडल बदलने पर या प्रोवाइडर के मॉडल संस्करण अपडेट करने पर इसे दोबारा चलाएँ, क्योंकि नया tokenizer हर गिनती बदल देता है।

## लागत और कॉन्टेक्स्ट के लिए इसका क्या मतलब है?

लागत टोकन के साथ बढ़ती है, इसलिए ऊँचा अरबी अनुपात आपके ट्रैफ़िक के अरबी हिस्से का बिल उसी गुणक से बढ़ाता है। BroadNet की कीमतों से, [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) पर अरबी इनपुट $0.175 प्रति 1M टोकन और आउटपुट $2.17 है; Gemma 4 VL 26B पर $0.10 और $0.22। प्रति टोकन कीमत हर भाषा में एक ही है; सिर्फ़ टोकन गिनती बदलती है। अपना मापा हुआ अनुपात [मासिक लागत के तरीक़े](https://broadrouter.com/hi/blog/estimate-llm-api-cost-before-launch/) में डालें।

कॉन्टेक्स्ट सीमाएँ भी इसी तरह सिकुड़ती हैं। Gemma 4 VL 26B प्रति अनुरोध 32,768 टोकन स्वीकार करता है; एक लंबा अरबी दस्तावेज़ इसे अपने अंग्रेज़ी अनुवाद से जल्दी भर देता है। DeepSeek V4.1 Flash और GLM 5.3 1,048,576 स्वीकार करते हैं।

## अरबी टोकन गिनती कैसे घटाएँ?

-   **एक जैसा normalise करें।** तत्वील हटाएँ, और अगर काम को ज़रूरत न हो तो हरकात हटाएँ। हर अनुरोध पर वही normalisation लगाएँ ताकि caching चलती रहे।
-   **निर्देश छोटे रखें।** लंबा system प्रॉम्प्ट हर turn पर दोबारा भेजा जाता है; कसी हुई भाषा दोनों भाषाओं में टोकन बचाती है।
-   **स्थिर prefix को cache करें।** cached दर वाले मॉडलों पर दोहराए गए system प्रॉम्प्ट और दस्तावेज़ बहुत कम पड़ते हैं। [caching कैसे काम करती है](https://broadrouter.com/hi/blog/cached-input-tokens-explained/)।
-   **संक्षिप्त जवाब माँगें।** “दो वाक्यों में जवाब दें” किसी भी tokenizer तरकीब से ज़्यादा बचाता है।

टेक्स्ट की जगह अरबी स्पीच के लिए, ट्रांसक्रिप्शन की कीमत प्रति ऑडियो मिनट है, प्रति टोकन नहीं, इसलिए बिल के उस हिस्से पर tokenization का असर नहीं पड़ता; [अरबी speech-to-text पेज](https://broadrouter.com/hi/blog/arabic-speech-to-text-api-buyers-guide/) देखें।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/)

टोकनाइज़र वह हिस्सा है जो टेक्स्ट को इंटीजर टोकन ID के उस क्रम में बदलता है जिसे लैंग्वेज मॉडल पढ़ता है, और जनरेट हुई ID को वापस टेक्स्ट में बदलता है। हर मॉडल अपने टोकनाइज़र के साथ आता है, इसलिए एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या में टोकन बना सकता है।

[मानक आधुनिक अरबी (Modern Standard Arabic, MSA)](https://broadrouter.com/hi/glossary/msa/)

Modern Standard Arabic (MSA) अरबी का मानक रूप है, जो पूरी अरब दुनिया में लेखन, समाचार, शिक्षा और औपचारिक भाषण में इस्तेमाल होता है। यह किसी की रोज़मर्रा की मातृभाषा नहीं है: लोग मिस्री या खाड़ी अरबी जैसी क्षेत्रीय बोलियाँ बोलते हैं और औपचारिक मौक़ों पर MSA अपनाते हैं।

[अरबी डायक्रिटिक्स (tashkeel)](https://broadrouter.com/hi/glossary/arabic-diacritics/)

अरबी डायक्रिटिक्स, या tashkeel, अक्षरों के ऊपर या नीचे लगने वाले छोटे चिह्न हैं जो छोटे स्वर, दोहरे व्यंजन और स्वर के न होने को दिखाते हैं। ये वैकल्पिक हैं: ख़बरों समेत ज़्यादातर अरबी टेक्स्ट इन्हें छोड़ देता है, इसलिए पाठक और सॉफ़्टवेयर संदर्भ से स्वर का अंदाज़ा लगाते हैं।

[Arabizi (अरबीज़ी)](https://broadrouter.com/hi/glossary/arabizi/)

Arabizi लैटिन अक्षरों में अनौपचारिक रूप से लिखी गई अरबी है, जिसमें उन अरबी ध्वनियों के लिए अंक लगते हैं जिनका लैटिन में कोई बराबर अक्षर नहीं, जैसे ع के लिए 3। यह चैट और सोशल मीडिया में आम है, ज़्यादातर बोलचाल की होती है, इसकी तय वर्तनी नहीं, और यह अक्सर अंग्रेज़ी या फ़्रेंच से मिली होती है।

[टूल कॉलिंग (tool calling)](https://broadrouter.com/hi/glossary/tool-calling/)

टूल कॉलिंग, जिसे function calling भी कहते हैं, LLM API की वह सुविधा है जिसमें मॉडल डेवलपर के तय किए किसी फ़ंक्शन को चलाने का एक स्ट्रक्चर्ड अनुरोध, JSON आर्ग्युमेंट के साथ, लौटाता है। ऐप्लिकेशन फ़ंक्शन चलाकर नतीजा वापस भेजता है; मॉडल ख़ुद कभी कोड नहीं चलाता।

[लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/)

लैंग्वेज मॉडल API के लिए लेटेंसी वह समय है जो किसी अनुरोध के भेजे जाने से अंतिम आउटपुट टोकन मिलने तक लगता है। यह पहले टोकन तक के समय और जनरेशन टाइम का जोड़ है, और आम तौर पर औसत के बजाय p50 और p95 जैसे परसेंटाइल में बताई जाती है।

[स्पीच-टू-टेक्स्ट (speech-to-text)](https://broadrouter.com/hi/glossary/speech-to-text/)

स्पीच-टू-टेक्स्ट, जिसे automatic speech recognition (ASR) भी कहते हैं, बोले गए ऑडियो को लिखित टेक्स्ट में बदलने की तकनीक है। speech-to-text API ऑडियो फ़ाइल या स्ट्रीम लेकर ट्रांसक्रिप्ट लौटाता है, आम तौर पर प्रति ऑडियो मिनट की कीमत पर। सटीकता वर्ड एरर रेट से मापी जाती है और लहजे, बोली और रिकॉर्डिंग क्वालिटी के साथ बदलती है।

## अक्सर पूछे जाने वाले सवाल

### एक अरबी शब्द कितने टोकन का होता है?

यह मॉडल पर निर्भर है। BroadRouter के tokenizer डेटासेट में, पाँच tokenizers पर मानक आधुनिक अरबी ने प्रति 100 शब्द 183.0 (Qwen3.8 27B) से 243.9 (GLM 5.3) टोकन लिए। अकेले शब्दों की जगह समानांतर टेक्स्ट की तुलना करें, और उसी मॉडल पर मापें जो आप इस्तेमाल करते हैं।

### 1,000 अंग्रेज़ी शब्द कितने टोकन होते हैं?

BroadRouter के मापे गए डेटासेट के पाँच tokenizers पर सादे अंग्रेज़ी गद्य के लगभग 1,269 से 1,320 टोकन (औसतन 1,290)। तकनीकी टेक्स्ट, कोड और दूसरी भाषाओं को ज़्यादा चाहिए, इसलिए अपना टेक्स्ट गिनें।

### क्या हरकात हटाने से टोकन घटते हैं?

आमतौर पर हाँ, क्योंकि हरकात अतिरिक्त कैरेक्टर हैं जिन्हें tokenizer को encode करना पड़ता है। इन्हें तभी हटाएँ जब आपके काम को इनकी ज़रूरत न हो; क़ुरान, कविता या उच्चारण के लिए ये अर्थ रखते हैं।

### क्या प्रति टोकन 4 कैरेक्टर वाला नियम अरबी पर लागू होता है?

नहीं। OpenAI यह मोटा नियम अपने tokenizers पर अंग्रेज़ी टेक्स्ट के लिए देता है। यह अरबी या दूसरे मॉडलों के tokenizers पर लागू नहीं होता।

### क्या अरबी टोकन प्रति टोकन महँगे होते हैं?

नहीं। टोकन की कीमत एक ही है, चाहे वह कोई भी भाषा encode करे। अरबी तभी महँगी पड़ती है जब वही कंटेंट ज़्यादा टोकन में टूटता है।

## आगे पढ़ें

-   [अरबी के लिए LLM API कैसे चुनें: क्या-क्या टेस्ट करें](https://broadrouter.com/hi/blog/choosing-an-llm-for-arabic/)
-   [LLM API की कीमत कैसे तय होती है: इनपुट, कैश्ड, आउटपुट और रीज़निंग](https://broadrouter.com/hi/blog/llm-api-pricing-explained/)
-   [अरबी प्रॉम्प्ट इंजीनियरिंग: register, RTL, अंक और मिला-जुला टेक्स्ट](https://broadrouter.com/hi/blog/arabic-prompt-engineering/)
-   [Arabizi और LLM: 3 और 7 जैसे अंकों वाली Franco-Arabic को संभालना](https://broadrouter.com/hi/blog/arabizi-llm-handling/)
-   [LLM से अरबी टेक्स्ट में हरकतें (तश्कील) लगाना: प्रॉम्प्ट, जाँच, DER](https://broadrouter.com/hi/blog/arabic-diacritization-llm/)
-   [अक्टूबर 2026 में LLM API कीमतों में बदलाव: 3 बढ़ोतरी, कटौती नहीं](https://broadrouter.com/hi/blog/llm-api-price-changes-october-2026/)
-   [LLM API की कीमतें कितनी बार बदलती हैं? आर्काइव पेजों के 3 साल](https://broadrouter.com/hi/blog/how-often-llm-api-prices-change/)
-   [गाइड: BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**स्रोत**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, 2026-11-16 को जाँचा गया)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, 2026-11-16 को जाँचा गया)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, टोकनाइज़ेशन एल्गोरिदम (2026-11-16 को जाँचा गया)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI Help Center, टोकन क्या हैं और उन्हें कैसे गिनें](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [BroadRouter tokenizer दक्षता डेटासेट, संस्करण 4 (2026-11-15 को मापा गया)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 मूल्यांकन benchmark (Meta, CC BY-SA 4.0), MSA अनुपातों के पीछे के समानांतर वाक्य (पिन किया गया commit, 2026-11-16 को जाँचा गया)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [BroadNet Inference API रेफ़रंस, usage फ़ील्ड (2026-11-16 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-tokens-per-word-arabic-english&utm_content=sources)
