---
title: "فی لفظ ٹوکن: عربی بمقابلہ انگریزی، اور کیسے ناپیں | BroadRouter"
description: "ایک ہی مطلب کے لیے عربی میں اکثر انگریزی سے زیادہ LLM ٹوکن کیوں لگتے ہیں، فی لفظ ٹوکن کیوں گمراہ کن ہے، اور usage فیلڈ سے اپنا تناسب ناپنے کی اسکرپٹ۔"
url: https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/
lang: ur
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (اپ ڈیٹ: 2026-11-16).

# عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے

BroadNet Inference ٹیم · 6 منٹ کی پڑھائی · شائع شدہ 2026-11-14 · اپ ڈیٹ 2026-11-16

کوئی ایک عدد نہیں: یہ ہر ماڈل کے tokenizer پر منحصر ہے۔ BroadRouter کے ناپے گئے ڈیٹاسیٹ میں، ایک ہی جدید معیاری عربی متن کو اپنے انگریزی ترجمے کے 1.31× (Qwen3.8 27B) سے 1.77× (GLM 5.3) ٹوکن چاہییں، اور انگریزی نثر کے 1,000 الفاظ اوسطاً تقریباً 1,290 ٹوکن بنتے ہیں۔ اپنا تناسب usage.prompt\_tokens سے ناپیں۔

## اہم نکات

-   فی لفظ ٹوکن ہر ماڈل کے tokenizer کی خصوصیت ہے، صرف زبان کی نہیں۔
-   کئی tokenizers پر تحقیق بتاتی ہے کہ ایک ہی مواد اکثر انگریزی سے عربی میں زیادہ ٹوکن لیتا ہے۔
-   متوازی متن (دونوں زبانوں میں ایک ہی مطلب) کا موازنہ کریں، فی لفظ ٹوکن کا نہیں: ایک عربی لفظ کئی انگریزی الفاظ کا مطلب رکھ سکتا ہے۔
-   اسی ماڈل پر usage.prompt\_tokens سے ناپیں جو آپ استعمال کریں گے، اور پیغام کے overhead کے لیے ایک baseline منہا کریں۔
-   اعراب، تطویل اور ملے جلے رسم الخط گنتی بدلتے ہیں؛ ان پٹ کو یکساں normalise کریں۔

**اس صفحے پر**

1.  عربی کو کتنے زیادہ ٹوکن چاہییں؟ ناپے گئے اعداد
2.  tokenizer کیا کرتا ہے؟
3.  عربی میں اکثر زیادہ ٹوکن کیوں لگتے ہیں؟
4.  فی لفظ ٹوکن غلط میٹرک کیوں ہے؟
5.  اپنا تناسب کیسے ناپیں؟
6.  لاگت اور کانٹیکسٹ کے لیے اس کا کیا مطلب ہے؟
7.  عربی ٹوکن گنتی کیسے کم کریں؟

اگر آپ LLM API پر عربی پروڈکٹ بناتے ہیں تو آپ کا بل ٹوکنز میں گنا جاتا ہے، الفاظ میں نہیں۔ اور عربی میں لکھا وہی پیغام اکثر اپنے انگریزی ترجمے سے زیادہ ٹوکن بن جاتا ہے۔ اس کا اثر لاگت، کانٹیکسٹ کی حدوں اور latency پر پڑتا ہے۔ یہ پوسٹ بتاتی ہے کہ ایسا کیوں ہوتا ہے، “فی لفظ ٹوکن” گمراہ کن عدد کیوں ہے، اور جس ماڈل کو آپ استعمال کرتے ہیں اس پر اپنے مواد کا اصل تناسب کیسے ناپیں۔

## عربی کو کتنے زیادہ ٹوکن چاہییں؟ ناپے گئے اعداد

ہم نے یہ ہر ماڈل کے اصل tokenizer سے متوازی متن (انگریزی اور عربی میں ایک ہی مطلب) پر ناپا۔ پورا ٹیبل، 95% intervals اور طریقہ مفت [tokenizer کارکردگی ڈیٹاسیٹ](https://broadrouter.com/data/tokenizer-efficiency/) میں ہے (CSV اور JSON، CC BY 4.0، ورژن 4، 2026-11-15 کو ناپا گیا):

| Tokenizer | عربی ÷ انگریزی، جدید معیاری (2,009 FLORES-200 جملے) | عربی ÷ انگریزی، خلیجی لہجہ (49 Tatoeba جملے) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

انگریزی نثر (Wikipedia اور Project Gutenberg) پانچوں پر فی 100 الفاظ تقریباً 127 سے 132 ٹوکن آئی۔ جدید معیاری عربی کے تناسب دونوں زبانوں میں انہی 2,009 FLORES-200 جملوں سے ہیں (انگریزی Wikimedia مضامین سے لیا گیا رسمی خبروں، سفر اور انسائیکلوپیڈیا کا متن، پیشہ ورانہ ترجمہ شدہ)۔ FLORES-200 میں خلیجی عربی نہیں، اس لیے خلیجی کالم 49 مختصر Tatoeba جملوں کے جوڑے استعمال کرتا ہے اور کہیں کم درست ہے؛ ڈیٹاسیٹ کا صفحہ ہر عدد کا interval دیتا ہے۔ ان میں سے کچھ بھی آپ کی ٹریفک نہیں، اس لیے تناسب کو منصوبہ بندی کے لیے استعمال کریں اور بجٹ بنانے سے پہلے اپنا مواد ناپیں۔ [عربی ٹوکن کاؤنٹر](https://broadrouter.com/tools/arabic-token-counter/) پیسٹ کیے گئے متن کو ہر tokenizer پر گنتا ہے، اور [ٹوکن سے الفاظ](https://broadrouter.com/tools/tokens-to-words/) دونوں سمتوں میں بدلتا ہے۔

ان تناسب کو پیسوں میں بدلنے کے لیے ہمارا [زبان کے حساب سے اصل لاگت کا ڈیٹاسیٹ](https://broadrouter.com/data/real-cost-by-language/) ہر اس ماڈل پر، جسے ہم کسی ناپے گئے tokenizer سے ملا سکے، مختلف فراہم کنندگان میں ہر زبان کے دس لاکھ (1M) حروف کی قیمت نکالتا ہے۔ فی ٹوکن سستی قیمت کا مطلب ہمیشہ سستا عربی بل نہیں ہوتا۔

## tokenizer کیا کرتا ہے؟

ماڈل کے متن دیکھنے سے پہلے، tokenizer اسے ایک مقررہ vocabulary سے لیے گئے ٹوکنز میں بانٹتا ہے۔ زیادہ تر جدید tokenizers byte-pair encoding (BPE)، WordPiece یا SentencePiece جیسے subword طریقے استعمال کرتے ہیں، جن کا بیان Hugging Face کے [tokenizers کے خلاصے](https://huggingface.co/docs/transformers/tokenizer_summary) میں ہے۔ تربیتی ڈیٹا کی عام strings ایک ٹوکن بن جاتی ہیں؛ نایاب strings چھوٹے ٹکڑوں میں، ضرورت پڑنے پر اکیلے bytes تک، توڑی جاتی ہیں۔

vocabulary ایک تربیتی corpus سے سیکھی جاتی ہے۔ اس corpus میں جو زبانیں غالب ہوتی ہیں، انہیں سب سے مؤثر encoding ملتی ہے۔ ہر ماڈل خاندان کا اپنا tokenizer ہے، اس لیے DeepSeek، Qwen، GLM اور Gemma ماڈلز ایک ہی عربی جملے کو کافی مختلف تعداد کے ٹوکنز میں بانٹ سکتے ہیں۔

## عربی میں اکثر زیادہ ٹوکن کیوں لگتے ہیں؟

### 1\. تربیتی ڈیٹا کا عدم توازن

کئی tokenizers ایسے متن پر تربیت یافتہ ہیں جس میں انگریزی کا حصہ بہت زیادہ ہے۔ عام انگریزی الفاظ ایک ایک ٹوکن بن جاتے ہیں؛ کئی عام عربی الفاظ کئی ٹکڑوں میں بٹتے ہیں۔ Petrov et al. (2023) نے اسے کئی tokenizers اور زبانوں میں ناپا اور پایا کہ ایک ہی مواد کے لیے درکار ٹوکنز میں بڑے فرق ہیں، اور انگریزی عموماً سب سے سستی میں سے ہے۔ Ahia et al. (2023) تجارتی APIs کے لیے ایسے ہی نتیجے پر پہنچے اور نوٹ کیا کہ اس کا براہِ راست اثر مختلف زبانیں بولنے والوں کی ادائیگی پر پڑتا ہے۔

### 2\. عربی morphology

عربی حروفِ عطف، حروفِ جار، حرفِ تعریف اور ضمائر براہِ راست الفاظ سے جوڑتی ہے۔ ایک لکھا ہوا لفظ وہ سب سمیٹ سکتا ہے جو انگریزی کئی الفاظ میں پھیلاتی ہے:

| عربی | تقریبی انگریزی |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

جس tokenizer نے کوئی خاص جوڑ کافی بار نہیں دیکھا، وہ اسے اکثر ٹکڑوں میں بانٹتا ہے۔ اس سے فی **لفظ** ٹوکن بڑھتے ہیں، چاہے فی **مطلب** ٹوکن مناسب ہوں۔

### 3\. رسم الخط کی تفصیلات

اعراب (تشکیل)، تطویل (کھنچاؤ والا حرف)، الف اور ہمزہ کی مختلف شکلیں، اور عربی ہندی ہندسے، سب اضافی حروف یا شکلیں ہیں جنہیں tokenizer کو encode کرنا پڑتا ہے۔ ملا جلا عربی اور لاطینی متن، اور Arabizi (ہندسوں کے ساتھ لاطینی حروف میں لکھی عربی)، بھی غیر متوقع طریقوں سے ٹوٹ سکتے ہیں۔ دیکھیں [LLMs، Arabizi کو کیسے سنبھالتے ہیں](https://broadrouter.com/ur/blog/arabizi-llm-handling/)۔

## فی لفظ ٹوکن غلط میٹرک کیوں ہے؟

کیونکہ ایک عربی لفظ اکثر کئی انگریزی الفاظ کے برابر ہوتا ہے، “عربی فی لفظ N ٹوکن لیتی ہے” اور “انگریزی فی لفظ M ٹوکن لیتی ہے” کا موازنہ نہیں ہو سکتا۔ زیادہ منصفانہ سوال ہے: **ایک ہی مواد کو ہر زبان میں کتنے ٹوکن چاہییں؟** متوازی متن استعمال کریں، یعنی دونوں زبانوں میں لکھا ایک ہی پیغام، اور کل ٹوکنز کا موازنہ کریں۔ یہی تناسب آپ کا بل بدلتا ہے۔

OpenAI کا اکثر حوالہ دیا جانے والا موٹا اصول، فی ٹوکن تقریباً چار حروف یا لفظ کا تین چوتھائی، OpenAI کے اپنے tokenizers پر انگریزی کے لیے دیا گیا ہے۔ یہ عربی یا دوسرے ماڈل خاندانوں پر لاگو نہیں ہوتا، اس لیے اسے عربی بجٹ کے لیے استعمال نہ کریں۔

## اپنا تناسب کیسے ناپیں؟

usage فیلڈ ہی اصل سچ ہے: اسی پر آپ کا بل بنتا ہے۔ یہ اسکرپٹ متوازی متن ایک ماڈل کو بھیجتی ہے اور `usage.prompt_tokens` پڑھتی ہے۔ یہ ایک baseline منہا کرتی ہے تاکہ مقررہ chat-template overhead مختصر متون کو نہ بگاڑے۔ یہ [Gemma 4 VL 26B](https://broadrouter.com/ur/models/gemma-4-vl-26b/) استعمال کرتی ہے، جو مفت ابتدائی کریڈٹ پر چلتا ہے اور ریزننگ نہیں کرتا؛ اس کی جگہ وہ ماڈل رکھیں جو آپ واقعی استعمال کریں گے۔

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

قابلِ بھروسہ عدد حاصل کرنے کے لیے:

1.  **اپنے شعبے سے 50–200 اصل جوڑے استعمال کریں**: سپورٹ پیغامات، پروڈکٹ کی تفصیل، انوائسز۔ مختصر ڈیمو جملے شور بھرے ہوتے ہیں۔
2.  **وہی لہجہ استعمال کریں جو آپ کے صارفین لکھتے ہیں۔** خلیجی، مصری اور شامی متن جدید معیاری عربی سے مختلف طریقے سے tokenize ہو سکتا ہے۔
3.  **ہر ماڈل پر الگ چلائیں۔** ایک ماڈل پر ناپا گیا تناسب دوسرے کے بارے میں کم بتاتا ہے۔ اگر آپ ماڈلز کے درمیان چن رہے ہیں تو وہی جوڑے ہر ایک پر چلائیں؛ [عربی کے لیے LLM چننا](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/) معیار بیان کرتی ہے، جو ٹوکن گنتی جتنا ہی اہم ہے۔
4.  **آؤٹ پٹ بھی ناپیں۔** ہر ماڈل سے عربی اور انگریزی میں جواب مانگیں اور `completion_tokens` کا موازنہ کریں۔ ہر ماڈل پر آؤٹ پٹ فی ٹوکن ان پٹ سے مہنگا ہے، اس لیے آؤٹ پٹ کا تناسب زیادہ اہم ہو سکتا ہے۔

اگر ماڈل کا tokenizer شائع شدہ ہے (مثلاً Hugging Face پر) تو آپ اس tokenizer سے offline بھی ٹوکن گن سکتے ہیں۔ پھر بھی آخری بات API کا usage فیلڈ ہے، کیونکہ اس میں سرور کا لگایا chat template شامل ہوتا ہے۔

### نتائج کیسے پڑھیں

جب آپ کے پاس ہر ماڈل کا تناسب ہو تو تین پیٹرن عام ہیں:

-   **1 کے قریب۔** tokenizer آپ کی عربی اچھی طرح سنبھالتا ہے۔ ایک ہی مواد کے لیے عربی اور انگریزی ٹریفک کی لاگت تقریباً برابر ہے۔
-   **واضح طور پر 1 سے اوپر۔** عربی فی پیغام مہنگی ہے۔ پیش گوئیوں اور کانٹیکسٹ کی حدوں میں اس کا حساب رکھیں، اور سوچیں کہ کیا کوئی دوسرا ماڈل ملتے جلتے معیار پر آپ کی عربی زیادہ مؤثر طریقے سے سنبھالتا ہے۔
-   **آپ کے نمونوں میں بہت مختلف۔** عموماً ملے جلے مواد کی علامت: اعراب والا متن، Arabizi، نمبر، URLs یا عربی پیغامات کے اندر کوڈ۔ نمونوں کو قسم کے حساب سے بانٹیں اور ہر ایک الگ ناپیں۔

اسکرپٹ رکھیں اور ماڈل بدلنے پر یا فراہم کنندہ کے ماڈل ورژن اپڈیٹ کرنے پر اسے دوبارہ چلائیں، کیونکہ نیا tokenizer ہر گنتی بدل دیتا ہے۔

## لاگت اور کانٹیکسٹ کے لیے اس کا کیا مطلب ہے؟

لاگت ٹوکنز کے ساتھ بڑھتی ہے، اس لیے زیادہ عربی تناسب آپ کی ٹریفک کے عربی حصے کا بل اسی ضرب سے بڑھاتا ہے۔ BroadNet کی قیمتوں سے، [Qwen3.8 27B](https://broadrouter.com/ur/models/qwen3.8-27b/) پر عربی ان پٹ $0.175 فی 1M ٹوکن اور آؤٹ پٹ $2.17 ہے؛ Gemma 4 VL 26B پر $0.10 اور $0.22۔ فی ٹوکن قیمت ہر زبان میں ایک ہی ہے؛ صرف ٹوکن گنتی بدلتی ہے۔ اپنا ناپا ہوا تناسب [ماہانہ لاگت کے طریقے](https://broadrouter.com/ur/blog/estimate-llm-api-cost-before-launch/) میں ڈالیں۔

کانٹیکسٹ کی حدیں بھی اسی طرح سکڑتی ہیں۔ Gemma 4 VL 26B فی درخواست 32,768 ٹوکن قبول کرتا ہے؛ ایک لمبی عربی دستاویز اسے اپنے انگریزی ترجمے سے جلد بھر دیتی ہے۔ DeepSeek V4.1 Flash اور GLM 5.3 1,048,576 قبول کرتے ہیں۔

## عربی ٹوکن گنتی کیسے کم کریں؟

-   **یکساں normalise کریں۔** تطویل ہٹائیں، اور اگر کام کو ضرورت نہ ہو تو اعراب ہٹائیں۔ ہر درخواست پر وہی normalisation لگائیں تاکہ caching چلتی رہے۔
-   **ہدایات مختصر رکھیں۔** لمبا سسٹم پرامپٹ ہر turn پر دوبارہ بھیجا جاتا ہے؛ کسی ہوئی عبارت دونوں زبانوں میں ٹوکن بچاتی ہے۔
-   **مستحکم prefix کو کیش کریں۔** کیش شدہ ریٹ والے ماڈلز پر دہرائے گئے سسٹم پرامپٹس اور دستاویزات کہیں کم پڑتے ہیں۔ [caching کیسے کام کرتی ہے](https://broadrouter.com/ur/blog/cached-input-tokens-explained/)۔
-   **مختصر جوابات مانگیں۔** “دو جملوں میں جواب دیں” کسی بھی tokenizer ترکیب سے زیادہ بچاتا ہے۔

متن کی بجائے عربی گفتگو کے لیے، ٹرانسکرپشن کی قیمت فی آڈیو منٹ ہے، فی ٹوکن نہیں، اس لیے بل کے اس حصے پر tokenization کا اثر نہیں پڑتا؛ [عربی speech-to-text صفحہ](https://broadrouter.com/ur/blog/arabic-speech-to-text-api-buyers-guide/) دیکھیں۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[ٹوکنائزر (tokenizer)](https://broadrouter.com/ur/glossary/tokenizer/)

ٹوکنائزر وہ جزو ہے جو متن کو انٹیجر ٹوکن IDs کی اس ترتیب میں بدلتا ہے جسے لینگویج ماڈل پڑھتا ہے، اور تیار شدہ IDs کو واپس متن میں بدلتا ہے۔ ہر ماڈل اپنے ٹوکنائزر کے ساتھ آتا ہے، اس لیے ایک ہی متن مختلف ماڈلز پر مختلف تعداد میں ٹوکنز بنا سکتا ہے۔

[جدید معیاری عربی (Modern Standard Arabic، MSA)](https://broadrouter.com/ur/glossary/msa/)

Modern Standard Arabic (MSA) عربی کی معیاری شکل ہے جو پوری عرب دنیا میں تحریر، خبروں، تعلیم اور رسمی گفتگو میں استعمال ہوتی ہے۔ یہ کسی کی روزمرہ مادری زبان نہیں: لوگ مصری یا خلیجی عربی جیسے علاقائی لہجے بولتے ہیں اور رسمی مواقع پر MSA اختیار کرتے ہیں۔

[Arabizi (عربیزی)](https://broadrouter.com/ur/glossary/arabizi/)

Arabizi لاطینی حروف میں غیر رسمی طور پر لکھی گئی عربی ہے، جس میں لاطینی متبادل سے محروم عربی آوازوں کے لیے ہندسے آتے ہیں، جیسے ع کے لیے 3۔ یہ چیٹ اور سوشل میڈیا میں عام ہے، زیادہ تر بول چال کی ہے، اس کی طے شدہ املا نہیں، اور اکثر انگریزی یا فرانسیسی سے ملی ہوتی ہے۔

[اسپیچ ٹو ٹیکسٹ (speech-to-text)](https://broadrouter.com/ur/glossary/speech-to-text/)

اسپیچ ٹو ٹیکسٹ، جسے automatic speech recognition (ASR) بھی کہتے ہیں، بولے گئے آڈیو کو تحریری متن میں بدلنے کی ٹیکنالوجی ہے۔ speech-to-text API آڈیو فائل یا اسٹریم لے کر ٹرانسکرپٹ لوٹاتا ہے، عموماً فی آڈیو منٹ قیمت پر۔ درستگی ورڈ ایرر ریٹ سے ناپی جاتی ہے اور لہجے، بولی اور ریکارڈنگ کے معیار کے ساتھ بدلتی ہے۔

[ٹول کالنگ (tool calling)](https://broadrouter.com/ur/glossary/tool-calling/)

ٹول کالنگ، جسے function calling بھی کہتے ہیں، LLM API کی وہ سہولت ہے جس میں ماڈل ڈویلپر کے طے کردہ کسی فنکشن کو چلانے کی ایک منظم درخواست، JSON آرگیومنٹس کے ساتھ، لوٹاتا ہے۔ ایپلیکیشن فنکشن چلا کر نتیجہ واپس بھیجتی ہے؛ ماڈل خود کبھی کوڈ نہیں چلاتا۔

[لیٹنسی (latency)](https://broadrouter.com/ur/glossary/latency/)

لینگویج ماڈل API کے لیے لیٹنسی وہ وقت ہے جو کسی درخواست کے بھیجے جانے سے آخری آؤٹ پٹ ٹوکن موصول ہونے تک لگتا ہے۔ یہ پہلے ٹوکن تک کے وقت اور جنریشن ٹائم کا مجموعہ ہے، اور عموماً اوسط کے بجائے p50 اور p95 جیسے پرسنٹائلز میں بتائی جاتی ہے۔

[بائٹ پیئر انکوڈنگ (byte pair encoding، BPE)](https://broadrouter.com/ur/glossary/bpe/)

Byte pair encoding (BPE) ایک subword tokenization الگورتھم ہے جو اکیلے کیریکٹرز یا bytes سے شروع ہوتا ہے اور سب سے عام ساتھ ساتھ والے جوڑے کو بار بار ملا کر نئی ذخیرۂ الفاظ اندراج بناتا ہے، جب تک مطلوبہ سائز نہ آ جائے۔ آج کے زیادہ تر LLM tokenizer BPE یا اس کی byte-level شکل استعمال کرتے ہیں۔

## عام سوالات

### ایک عربی لفظ کتنے ٹوکن کا ہوتا ہے؟

یہ ماڈل پر منحصر ہے۔ BroadRouter کے tokenizer ڈیٹاسیٹ میں، پانچ tokenizers پر جدید معیاری عربی نے فی 100 الفاظ 183.0 (Qwen3.8 27B) سے 243.9 (GLM 5.3) ٹوکن لیے۔ اکیلے الفاظ کی بجائے متوازی متون کا موازنہ کریں، اور اسی ماڈل پر ناپیں جو آپ استعمال کرتے ہیں۔

### 1,000 انگریزی الفاظ کتنے ٹوکن ہوتے ہیں؟

BroadRouter کے ناپے گئے ڈیٹاسیٹ کے پانچ tokenizers پر سادہ انگریزی نثر کے تقریباً 1,269 سے 1,320 ٹوکن (اوسطاً 1,290)۔ تکنیکی متن، کوڈ اور دوسری زبانوں کو زیادہ چاہییں، اس لیے اپنا متن گنیں۔

### کیا اعراب ہٹانے سے ٹوکن کم ہوتے ہیں؟

عموماً ہاں، کیونکہ اعراب اضافی حروف ہیں جنہیں tokenizer کو encode کرنا پڑتا ہے۔ انہیں تبھی ہٹائیں جب آپ کے کام کو ان کی ضرورت نہ ہو؛ قرآن، شاعری یا تلفظ کے لیے یہ مطلب رکھتے ہیں۔

### کیا فی ٹوکن 4 حروف والا اصول عربی پر لاگو ہوتا ہے؟

نہیں۔ OpenAI یہ موٹا اصول اپنے tokenizers پر انگریزی متن کے لیے دیتا ہے۔ یہ عربی یا دوسرے ماڈلز کے tokenizers پر لاگو نہیں ہوتا۔

### کیا عربی ٹوکن فی ٹوکن مہنگے ہوتے ہیں؟

نہیں۔ ٹوکن کی قیمت ایک ہی ہے، چاہے وہ کوئی بھی زبان encode کرے۔ عربی تبھی مہنگی پڑتی ہے جب وہی مواد زیادہ ٹوکنز میں ٹوٹتا ہے۔

## مزید پڑھیں

-   [عربی کے لیے LLM API کیسے چنیں: کیا کیا ٹیسٹ کریں](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/)
-   [LLM API کی قیمت کیسے بنتی ہے: ان پٹ، کیش شدہ، آؤٹ پٹ اور ریزننگ](https://broadrouter.com/ur/blog/llm-api-pricing-explained/)
-   [عربی پرامپٹ انجینئرنگ: register، RTL، ہندسے اور ملا جلا متن](https://broadrouter.com/ur/blog/arabic-prompt-engineering/)
-   [Arabizi اور LLMs: 3 اور 7 جیسے ہندسوں والی Franco-Arabic سنبھالنا](https://broadrouter.com/ur/blog/arabizi-llm-handling/)
-   [LLM سے عربی متن پر اعراب (تشکیل) لگانا: پرامپٹ، جانچ، DER](https://broadrouter.com/ur/blog/arabic-diacritization-llm/)
-   [اکتوبر 2026 میں LLM API قیمتوں میں تبدیلیاں: 3 اضافے، کٹوتی کوئی نہیں](https://broadrouter.com/ur/blog/llm-api-price-changes-october-2026/)
-   [LLM API کی قیمتیں کتنی بار بدلتی ہیں؟ آرکائیو صفحات کے 3 سال](https://broadrouter.com/ur/blog/how-often-llm-api-prices-change/)
-   [گائیڈ: BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**ذرائع**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425، 2026-11-16 کو دیکھا گیا)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707، 2026-11-16 کو دیکھا گیا)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers، tokenization الگورتھمز (2026-11-16 کو دیکھا گیا)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI Help Center، ٹوکن کیا ہیں اور انہیں کیسے گنیں](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [BroadRouter tokenizer کارکردگی ڈیٹاسیٹ، ورژن 4 (2026-11-15 کو ناپا گیا)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 جانچ بینچ مارک (Meta، CC BY-SA 4.0)، MSA تناسب کے پیچھے متوازی جملے (pinned commit، 2026-11-16 کو دیکھا گیا)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [BroadNet Inference API ریفرنس، usage فیلڈز (2026-11-16 کو دیکھا گیا) (انگریزی میں)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-tokens-per-word-arabic-english&utm_content=sources)
