अगर आप LLM API पर अरबी प्रोडक्ट बनाते हैं, तो आपका बिल टोकन में गिना जाता है, शब्दों में नहीं। और अरबी में लिखा वही संदेश अक्सर अपने अंग्रेज़ी अनुवाद से ज़्यादा टोकन बन जाता है। इसका असर लागत, कॉन्टेक्स्ट सीमाओं और latency पर पड़ता है। यह पोस्ट बताती है कि ऐसा क्यों होता है, “प्रति शब्द टोकन” भ्रामक संख्या क्यों है, और जिस मॉडल को आप इस्तेमाल करते हैं उस पर अपने कंटेंट का असली अनुपात कैसे मापें।
अरबी को कितने ज़्यादा टोकन चाहिए? मापे गए आँकड़े
हमने इसे हर मॉडल के असली tokenizer से समानांतर टेक्स्ट (अंग्रेज़ी और अरबी में एक ही अर्थ) पर मापा। पूरी टेबल, 95% intervals और तरीक़ा मुफ़्त tokenizer दक्षता डेटासेट में है (CSV और JSON, CC BY 4.0, संस्करण 4, 2026-11-15 को मापा गया):
| Tokenizer | अरबी ÷ अंग्रेज़ी, मानक आधुनिक (2,009 FLORES-200 वाक्य) | अरबी ÷ अंग्रेज़ी, खाड़ी बोली (49 Tatoeba वाक्य) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
अंग्रेज़ी गद्य (Wikipedia और Project Gutenberg) पाँचों पर प्रति 100 शब्द लगभग 127 से 132 टोकन आया। मानक आधुनिक अरबी के अनुपात दोनों भाषाओं में उन्हीं 2,009 FLORES-200 वाक्यों से हैं (अंग्रेज़ी Wikimedia लेखों से लिया गया औपचारिक समाचार, यात्रा और विश्वकोश टेक्स्ट, पेशेवर रूप से अनूदित)। FLORES-200 में खाड़ी अरबी नहीं है, इसलिए खाड़ी वाला कॉलम 49 छोटे Tatoeba वाक्य-जोड़ों का इस्तेमाल करता है और कहीं कम सटीक है; डेटासेट पेज हर आँकड़े का interval देता है। इनमें से कुछ भी आपका ट्रैफ़िक नहीं है, इसलिए अनुपातों को योजना के लिए इस्तेमाल करें और बजट बनाने से पहले अपना कंटेंट मापें। अरबी टोकन काउंटर पेस्ट किए गए टेक्स्ट को हर tokenizer पर गिनता है, और टोकन से शब्द दोनों दिशाओं में बदलता है।
इन अनुपातों को पैसों में बदलने के लिए हमारा भाषा के हिसाब से असली लागत डेटासेट हर उस मॉडल पर, जिसे हम किसी मापे गए tokenizer से मिला सके, अलग-अलग प्रोवाइडरों में हर भाषा के 10 लाख (1M) कैरेक्टर की कीमत निकालता है। प्रति टोकन सस्ती कीमत का मतलब हमेशा सस्ता अरबी बिल नहीं होता।
tokenizer क्या करता है?
मॉडल के टेक्स्ट देखने से पहले, tokenizer उसे एक तय vocabulary से लिए गए टोकन में बाँटता है। ज़्यादातर आधुनिक tokenizers byte-pair encoding (BPE), WordPiece या SentencePiece जैसे subword तरीक़े इस्तेमाल करते हैं, जिनका वर्णन Hugging Face के tokenizers के सारांश में है। ट्रेनिंग डेटा की आम strings एक टोकन बन जाती हैं; दुर्लभ strings छोटे टुकड़ों में, ज़रूरत पड़ने पर अकेले bytes तक, तोड़ी जाती हैं।
vocabulary एक ट्रेनिंग corpus से सीखी जाती है। उस corpus में जो भाषाएँ हावी होती हैं, उन्हें सबसे कुशल encoding मिलती है। हर मॉडल परिवार का अपना tokenizer है, इसलिए DeepSeek, Qwen, GLM और Gemma मॉडल एक ही अरबी वाक्य को काफ़ी अलग संख्या के टोकन में बाँट सकते हैं।
अरबी में अक्सर ज़्यादा टोकन क्यों लगते हैं?
1. ट्रेनिंग डेटा का असंतुलन
कई tokenizers ऐसे टेक्स्ट पर ट्रेन हुए जिसमें अंग्रेज़ी का हिस्सा बहुत ज़्यादा है। आम अंग्रेज़ी शब्द एक-एक टोकन बन जाते हैं; कई आम अरबी शब्द कई टुकड़ों में बँटते हैं। Petrov et al. (2023) ने इसे कई tokenizers और भाषाओं में मापा और पाया कि एक ही कंटेंट के लिए ज़रूरी टोकन में बड़े अंतर हैं, और अंग्रेज़ी आमतौर पर सबसे सस्ती में से है। Ahia et al. (2023) व्यावसायिक API के लिए ऐसे ही नतीजे पर पहुँचे और नोट किया कि इसका सीधा असर अलग-अलग भाषाओं के बोलने वालों के भुगतान पर पड़ता है।
2. अरबी morphology
अरबी संयोजक, पूर्वसर्ग, article और सर्वनाम सीधे शब्दों से जोड़ती है। एक लिखा हुआ शब्द वह सब ले सकता है जो अंग्रेज़ी कई शब्दों में फैलाती है:
| अरबी | मोटा अंग्रेज़ी अर्थ |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
जिस tokenizer ने कोई ख़ास जोड़ काफ़ी बार नहीं देखा, वह उसे अक्सर टुकड़ों में बाँटता है। इससे प्रति शब्द टोकन बढ़ते हैं, भले ही प्रति अर्थ टोकन ठीक-ठाक हों।
3. लिपि के ब्योरे
हरकात (तश्कील), तत्वील (खिंचाव वाला कैरेक्टर), अलिफ़ और हम्ज़ा के अलग रूप, और अरबी-भारतीय अंक, सब अतिरिक्त कैरेक्टर या रूप हैं जिन्हें tokenizer को encode करना पड़ता है। मिला-जुला अरबी और लैटिन टेक्स्ट, और Arabizi (अंकों के साथ लैटिन अक्षरों में लिखी अरबी), भी अप्रत्याशित तरीक़ों से टूट सकते हैं। देखें LLMs Arabizi को कैसे संभालते हैं।
प्रति शब्द टोकन ग़लत मीट्रिक क्यों है?
क्योंकि एक अरबी शब्द अक्सर कई अंग्रेज़ी शब्दों के बराबर होता है, “अरबी प्रति शब्द N टोकन लेती है” और “अंग्रेज़ी प्रति शब्द M टोकन लेती है” की तुलना नहीं हो सकती। ज़्यादा उचित सवाल है: एक ही कंटेंट को हर भाषा में कितने टोकन चाहिए? समानांतर टेक्स्ट इस्तेमाल करें, यानी दोनों भाषाओं में लिखा एक ही संदेश, और कुल टोकन की तुलना करें। यही अनुपात आपका बिल बदलता है।
OpenAI का अक्सर उद्धृत मोटा नियम, प्रति टोकन लगभग चार कैरेक्टर या शब्द का तीन-चौथाई, OpenAI के अपने tokenizers पर अंग्रेज़ी के लिए दिया गया है। यह अरबी या दूसरे मॉडल परिवारों पर लागू नहीं होता, इसलिए इसे अरबी बजट के लिए इस्तेमाल न करें।
अपना अनुपात कैसे मापें?
usage फ़ील्ड ही असली सच है: इसी पर आपका बिल बनता है। यह स्क्रिप्ट समानांतर टेक्स्ट एक मॉडल को भेजती है और usage.prompt_tokens पढ़ती है। यह एक baseline घटाती है ताकि तय chat-template overhead छोटे टेक्स्ट को न बिगाड़े। यह Gemma 4 VL 26B इस्तेमाल करती है, जो मुफ़्त शुरुआती क्रेडिट पर चलता है और reasoning नहीं करता; इसकी जगह वह मॉडल रखें जो आप सच में इस्तेमाल करेंगे।
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
भरोसे लायक संख्या पाने के लिए:
- अपने domain से 50–200 असली जोड़े इस्तेमाल करें: सपोर्ट संदेश, प्रोडक्ट विवरण, इनवॉइस। छोटे डेमो वाक्य शोर भरे होते हैं।
- वही बोली इस्तेमाल करें जो आपके यूज़र्स लिखते हैं। खाड़ी, मिस्री और लेवेंटाइन टेक्स्ट मानक आधुनिक अरबी से अलग tokenize हो सकता है।
- हर मॉडल पर अलग चलाएँ। एक मॉडल पर मापा गया अनुपात दूसरे के बारे में कम बताता है। अगर आप मॉडलों के बीच चुन रहे हैं, तो वही जोड़े हर एक पर चलाएँ; अरबी के लिए LLM चुनना गुणवत्ता बताती है, जो टोकन गिनती जितनी ही मायने रखती है।
- आउटपुट भी मापें। हर मॉडल से अरबी और अंग्रेज़ी में जवाब माँगें और
completion_tokensकी तुलना करें। हर मॉडल पर आउटपुट प्रति टोकन इनपुट से महँगा है, इसलिए आउटपुट अनुपात ज़्यादा मायने रख सकता है।
अगर मॉडल का tokenizer प्रकाशित है (उदाहरण के लिए Hugging Face पर), तो आप उस tokenizer से offline भी टोकन गिन सकते हैं। फिर भी अंतिम शब्द API का usage फ़ील्ड है, क्योंकि इसमें सर्वर का लगाया chat template शामिल होता है।
नतीजे कैसे पढ़ें
जब आपके पास हर मॉडल का अनुपात हो, तो तीन पैटर्न आम हैं:
- 1 के क़रीब। tokenizer आपकी अरबी अच्छे से संभालता है। एक ही कंटेंट के लिए अरबी और अंग्रेज़ी ट्रैफ़िक की लागत लगभग बराबर है।
- साफ़ तौर पर 1 से ऊपर। अरबी प्रति संदेश महँगी है। पूर्वानुमानों और कॉन्टेक्स्ट सीमाओं में इसका हिसाब रखें, और सोचें कि क्या कोई दूसरा मॉडल मिलती-जुलती गुणवत्ता पर आपकी अरबी ज़्यादा कुशलता से संभालता है।
- आपके नमूनों में बहुत अलग। आमतौर पर मिले-जुले कंटेंट का संकेत: हरकात वाला टेक्स्ट, Arabizi, संख्याएँ, URLs या अरबी संदेशों के अंदर कोड। नमूनों को प्रकार के हिसाब से बाँटें और हर एक अलग मापें।
स्क्रिप्ट रखें और मॉडल बदलने पर या प्रोवाइडर के मॉडल संस्करण अपडेट करने पर इसे दोबारा चलाएँ, क्योंकि नया tokenizer हर गिनती बदल देता है।
लागत और कॉन्टेक्स्ट के लिए इसका क्या मतलब है?
लागत टोकन के साथ बढ़ती है, इसलिए ऊँचा अरबी अनुपात आपके ट्रैफ़िक के अरबी हिस्से का बिल उसी गुणक से बढ़ाता है। BroadNet की कीमतों से, Qwen3.8 27B पर अरबी इनपुट $0.175 प्रति 1M टोकन और आउटपुट $2.17 है; Gemma 4 VL 26B पर $0.10 और $0.22। प्रति टोकन कीमत हर भाषा में एक ही है; सिर्फ़ टोकन गिनती बदलती है। अपना मापा हुआ अनुपात मासिक लागत के तरीक़े में डालें।
कॉन्टेक्स्ट सीमाएँ भी इसी तरह सिकुड़ती हैं। Gemma 4 VL 26B प्रति अनुरोध 32,768 टोकन स्वीकार करता है; एक लंबा अरबी दस्तावेज़ इसे अपने अंग्रेज़ी अनुवाद से जल्दी भर देता है। DeepSeek V4.1 Flash और GLM 5.3 1,048,576 स्वीकार करते हैं।
अरबी टोकन गिनती कैसे घटाएँ?
- एक जैसा normalise करें। तत्वील हटाएँ, और अगर काम को ज़रूरत न हो तो हरकात हटाएँ। हर अनुरोध पर वही normalisation लगाएँ ताकि caching चलती रहे।
- निर्देश छोटे रखें। लंबा system प्रॉम्प्ट हर turn पर दोबारा भेजा जाता है; कसी हुई भाषा दोनों भाषाओं में टोकन बचाती है।
- स्थिर prefix को cache करें। cached दर वाले मॉडलों पर दोहराए गए system प्रॉम्प्ट और दस्तावेज़ बहुत कम पड़ते हैं। caching कैसे काम करती है।
- संक्षिप्त जवाब माँगें। “दो वाक्यों में जवाब दें” किसी भी tokenizer तरकीब से ज़्यादा बचाता है।
टेक्स्ट की जगह अरबी स्पीच के लिए, ट्रांसक्रिप्शन की कीमत प्रति ऑडियो मिनट है, प्रति टोकन नहीं, इसलिए बिल के उस हिस्से पर tokenization का असर नहीं पड़ता; अरबी speech-to-text पेज देखें।
