BroadRouter

LLM درخواست بھیجنے سے پہلے ٹوکن کیسے گنیں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

جس ماڈل کو آپ کال کرتے ہیں اس کا ٹوکنائزر عوامی ہو تو اسی سے ٹوکن گنیں؛ ورنہ اصل درخواستوں کے usage فیلڈ سے ہر زبان اور مواد کی قسم کے لیے حروف فی ٹوکن کا تناسب کیلیبریٹ کریں۔ 10 سے 20 فیصد مارجن جوڑیں، پھر دیکھیں کہ پرامپٹ ٹوکن اور max_tokens مل کر کانٹیکسٹ ونڈو میں آتے ہیں، اور تھنکنگ ماڈلز پر ریزننگ ٹوکن کے لیے جگہ چھوڑیں۔

درخواست بھیجنے سے پہلے آپ کو ٹوکن کی گنتی تین وجوہات سے چاہیے: کانٹیکسٹ ونڈو کے اندر رہنے کے لیے، مناسب max_tokens چننے کے لیے، اور لاگت کا اندازہ لگانے کے لیے۔ درست گنتی صرف ماڈل کے اپنے ٹوکنائزر سے ملتی ہے۔ اچھے اندازے کیلیبریشن سے ملتے ہیں۔ یہ پوسٹ اصل پیمائشوں کے ساتھ دونوں طریقے دکھاتی ہے۔

مختلف ماڈلز میں ٹوکن کی گنتی مختلف کیوں ہوتی ہے؟

ٹوکنائزر متن کو ایک مقررہ ذخیرۂ الفاظ (vocabulary) کے ٹکڑوں میں بانٹتا ہے۔ ہر ماڈل خاندان اپنا ٹوکنائزر ٹرین کرتا ہے۔ بڑا ذخیرۂ الفاظ، یا کسی زبان پر زیادہ ٹرین کیا گیا ذخیرہ، اس زبان کے لیے کم ٹوکن بناتا ہے۔ اس لیے ”اس پرامپٹ میں کتنے ٹوکن ہیں“ کا جواب ہر ماڈل کے لیے مختلف ہے۔

ہم نے ایک ہی مختصر کسٹمر سروس پیغام ناپا، چار زبانوں میں ترجمہ کر کے، ساتھ میں ایک چھوٹا Python فنکشن اور ایک انوائس JSON آبجیکٹ۔ OpenAI کی گنتی tiktoken سے آئی ہے (cl100k_base، GPT-4 دور کا، اور o200k_base، GPT-4o دور کا)۔ اوپن ماڈلز کی گنتی ان ٹوکنائزر فائلوں سے آئی ہے جو ہر خاندان Hugging Face پر شائع کرتا ہے، چیٹ ٹیمپلیٹ کے بغیر، 14 نومبر 2026 کو گنی گئی۔

متن (ایک ہی مطلب) حروف cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
انگریزی، 31 الفاظ 173 37 37 37 38 39 39
ہسپانوی 160 47 40 50 45 43 42
عربی 142 102 46 55 58 48 49
چینی 54 51 37 34 35 36 38
Python فنکشن 94 33 33 35 33 35 38
انوائس JSON 140 59 60 63 60 72 72

ہر قطار میں ایک ہی نمونہ ہے، اس لیے ان اعداد کو مثال سمجھیں، بینچ مارک نہیں۔ پھر بھی تین سبق قائم رہتے ہیں۔ ٹوکنائزر کی نسل اہم ہے: عربی متن cl100k_base سے o200k_base پر آدھے سے بھی کم رہ گیا۔ اوپن ماڈلز بھی آپس میں مختلف ہیں: وہی عربی متن 48 سے 58 ٹوکن تک رہا، اور JSON 60 سے 72 تک۔ اور اسٹرکچرڈ مواد ہر جگہ ٹوکن سے بھرا ہوتا ہے: JSON ہر ٹوکنائزر پر تقریباً 2 حروف فی ٹوکن رہا۔

آپ یہی ٹیسٹ اپنے متن پر مفت ٹوکن کاؤنٹر سے دہرا سکتے ہیں، یا ہر خاندان کے الگ کاؤنٹر سے: DeepSeek، Qwen اور GPT۔ پرامپٹ میں کسی تبدیلی سے کتنی بچت ہوتی ہے، یہ دیکھنے کے لیے دونوں ورژن پرامپٹ ٹوکن ڈِف میں ملائیں۔ عربی خاص طور پر زیادہ ٹوکن کیوں لیتی ہے، لمبے متون پر ناپا گیا، یہ عربی بمقابلہ انگریزی میں فی لفظ ٹوکن میں ہے۔

ٹوکن بالکل درست کیسے گنیں؟

اگر ماڈل کا ٹوکنائزر عوامی ہے تو اسے لوڈ کریں اور مقامی طور پر گنیں۔ OpenAI ماڈلز کے لیے:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

اوپن ویٹ خاندانوں میں ٹوکنائزر عموماً Hugging Face پر ماڈل کے ساتھ آتا ہے اور AutoTokenizer.from_pretrained(...) سے لوڈ ہوتا ہے۔ دو احتیاطیں: چیٹ ٹیمپلیٹ رولز اور سیپریٹرز کے لیے ٹوکن جوڑتا ہے، اور API فراہم کنندہ کا ڈیپلائے کیا ہوا ورژن عوامی فائلوں سے مختلف ہو سکتا ہے۔ BroadNet کا API ریفرنس نہ ٹوکن گننے کا کوئی اینڈپوائنٹ بتاتا ہے، نہ ہر ماڈل کا ٹوکنائزر، اس لیے عوامی ٹوکنائزر قریبی اندازہ دیتا ہے اور درست عدد کال کے بعد usage.prompt_tokens میں ملتا ہے۔

ٹوکنائزر عوامی نہ ہو تو ٹوکن کا اندازہ کیسے لگائیں؟

ہر ماڈل کے لیے ایک بار کیلیبریٹ کریں، پھر مقامی طور پر اندازہ لگائیں:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

ہر مواد کی قسم کے لیے 20 یا زیادہ اصل نمونے لیں (آپ کے اصل پرامپٹ، lorem ipsum نہیں)۔ ایک لفظ والی بنیادی درخواست چیٹ ٹیمپلیٹ کا مقررہ اوور ہیڈ ہٹا دیتی ہے، جسے estimate فنکشن overhead کے طور پر واپس جوڑتا ہے؛ اسے اپنی ناپی ہوئی بنیاد پر سیٹ کریں۔ BroadNet کے سب سے سستے ماڈل پر تبھی کیلیبریٹ کریں جب آپ اسی کو کال کرنے والے ہوں: Gemma 4 VL 26B کے تناسب DeepSeek V4.1 Flash پر لاگو نہیں ہوتے۔ تصاویر بھی ان پٹ ٹوکن کے طور پر بل ہوتی ہیں، اور بڑی تصاویر زیادہ ٹوکن لیتی ہیں، اس لیے انہیں ریزولوشن کے حساب سے الگ کیلیبریٹ کریں۔

max_tokens اور کانٹیکسٹ کے لیے کتنا مارجن رکھیں؟

ونڈو میں پرامپٹ اور آؤٹ پٹ دونوں آتے ہیں۔ ریزننگ ماڈلز پر آؤٹ پٹ میں چھپی ہوئی تھنکنگ بھی شامل ہے، جو ریزننگ ٹوکن کے طور پر رپورٹ ہوتی ہے۔ بجٹ یوں بنائیں:

  1. پرامپٹ کا اندازہ = کیلیبریٹ کی گئی گنتی × 1.15 (15 فیصد حفاظتی مارجن)۔
  2. جواب کا بجٹ = سب سے لمبا جواب جو آپ قبول کریں گے۔
  3. ریزننگ بجٹ = تھنکنگ ماڈلز کے لیے کم از کم 1,000 ٹوکن؛ BroadNet کی دستاویزات کم از کم 1,000 یا reasoning_effort: "low" کی سفارش کرتی ہیں، کیونکہ چھوٹی حد پر جواب خالی آ سکتا ہے۔
  4. max_tokens = جواب کا بجٹ + ریزننگ بجٹ۔
  5. جانچ: پرامپٹ کا اندازہ + max_tokens ≤ کانٹیکسٹ ونڈو۔ اگر نہیں، تو پرامپٹ کاٹیں، جواب نہیں۔

BroadNet Inference پر کانٹیکسٹ ونڈوز، شائع شدہ قیمتوں کی فائل سے:

ماڈل کانٹیکسٹ ونڈو 16K آؤٹ پٹ اور 15% مارجن کے ساتھ عملی پرامپٹ کی حد
DeepSeek V4.1 Flash 1,048,576 تقریباً 897,000
GLM 5.3 1,048,576 تقریباً 897,000
Qwen3.8 27B 262,144 تقریباً 213,000
Gemma 4 VL 26B 32,768 تقریباً 14,000

حد والا کالم (ونڈو − 16,384) ÷ 1.15 ہے، نیچے کی طرف مکمل کیا گیا۔ 16,384 کی جگہ اپنا max_tokens رکھیں۔

ٹوکن کے اندازوں میں کیا غلط ہوتا ہے؟

  • ٹوکن کی جگہ الفاظ گننا۔ 0.75 الفاظ فی ٹوکن کا اصول انگریزی کے لیے ہے۔ ہمارا 29 الفاظ کا عربی نمونہ ٹوکنائزر کے حساب سے 46 سے 102 ٹوکن کا تھا۔
  • ٹولز اور سسٹم پرامپٹ بھول جانا۔ ٹول اسکیما JSON ہوتے ہیں، جو ٹوکن سے بھرے ہوتے ہیں۔ انہیں پرامپٹ کا حصہ سمجھ کر گنیں۔
  • خاموش کٹوتی فرض کر لینا۔ کچھ ٹولز بتائے بغیر پرانے پیغامات ہٹا دیتے ہیں۔ BroadNet کہتا ہے کہ وہ آپ کا کانٹیکسٹ نہیں کاٹتا، اس لیے سرور کی کٹوتی پر بھروسا کرنے کے بجائے بھیجنے سے پہلے سائز دیکھیں۔ کانٹیکسٹ ونڈو کیلکولیٹر یہ جانچ آپ کے لیے کرتا ہے۔
  • ہسٹری کے بڑھنے کو نظرانداز کرنا۔ چیٹ یا ایجنٹ لوپ میں پرامپٹ ہر باری بڑھتا ہے۔ بجٹ ہر کال پر دوبارہ دیکھیں، ہر سیشن میں ایک بار نہیں۔ مستحکم ہسٹری بہتر کیش بھی ہوتی ہے؛ دیکھیں کیشنگ کے لیے پرامپٹ کی ساخت۔

اگر آپ عربی میں کام کرتے ہیں تو ٹوکنائزر ماڈلز کو اپنے متن پر ٹیسٹ کرنے کی ایک اور وجہ ہے؛ باقی باتیں عربی کے لیے LLM کا انتخاب میں ہیں۔ ٹوکن کی گنتی کو ماہانہ بل میں بدلنے کے لیے دیکھیں لانچ سے پہلے LLM API لاگت کا اندازہ کیسے لگائیں۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Inference ہر جواب میں prompt_tokens، completion_tokens اور، جب ماڈل رپورٹ کرے، کیش شدہ اور ریزننگ ٹوکن کی گنتی لوٹاتا ہے، اور کیلیبریشن کے لیے بس یہی چاہیے۔ یہ نہ گنتی کا کوئی اینڈپوائنٹ شائع کرتا ہے نہ ہر ماڈل کا ٹوکنائزر، اس لیے بھیجنے سے پہلے کی گنتی اندازہ ہی ہے۔ 1M ٹوکن والے ماڈلز پر لمبے کانٹیکسٹ کا کام کانٹیکسٹ ونڈو گائیڈ میں ہے، اور فی 1M ٹوکن قیمتیں قیمتوں کے صفحے پر ہیں۔

عام سوالات

ایک لفظ میں کتنے ٹوکن ہوتے ہیں؟

BroadRouter کے ٹوکنائزر ڈیٹاسیٹ میں، جو پانچ ٹوکنائزرز (BroadNet کے چاروں چیٹ ماڈلز کے اور OpenAI کا o200k_base؛ پوسٹ کی مثال والی جدول میں cl100k_base بھی شامل ہے) کو یکجا کرتا ہے، 1,000 انگریزی الفاظ تقریباً 1,290 ٹوکن ہیں، یعنی تقریباً 1.29 ٹوکن فی لفظ۔ عام اندازہ، 0.75 الفاظ فی ٹوکن، انگریزی نثر کے لیے قریب بیٹھتا ہے۔ عربی، دوسرے غیر لاطینی رسم الخط اور کوڈ فی لفظ زیادہ ٹوکن لیتے ہیں۔ اپنا متن اسی ماڈل سے ناپیں جسے آپ کال کرتے ہیں۔

کیا DeepSeek، Qwen یا Gemma کے ٹوکن tiktoken سے گن سکتے ہیں؟

صرف موٹے اندازے کے لیے۔ tiktoken OpenAI کی انکوڈنگز نافذ کرتا ہے۔ دوسرے ماڈل خاندان اپنے ٹوکنائزر دیتے ہیں، اکثر Hugging Face پر، اور گنتی مختلف آتی ہے۔ usage فیلڈ سے کیلیبریٹ کریں۔

کیا DeepSeek، Qwen، GLM یا Gemma کے ٹوکن گننے کا کوئی مفت ٹول ہے؟

جی ہاں۔ BroadRouter کا مفت ٹوکن کاؤنٹر ان ماڈل خاندانوں کے شائع شدہ ٹوکنائزر آپ کے براؤزر میں چلاتا ہے، اس لیے متن آپ کی مشین سے باہر نہیں جاتا۔ گنتی کو API کی رپورٹ کا اندازہ سمجھیں، کیونکہ چیٹ ٹیمپلیٹ کچھ ٹوکن جوڑتے ہیں۔

اگر میرا پرامپٹ کانٹیکسٹ ونڈو سے لمبا ہو تو کیا ہوگا؟

زیادہ تر APIs ایرر لوٹاتے ہیں۔ کچھ ٹولز پرانے پیغامات خاموشی سے کاٹ دیتے ہیں۔ BroadNet آپ کا کانٹیکسٹ نہیں کاٹتا، اس لیے بھیجنے سے پہلے پرامپٹ اور max_tokens کو ونڈو سے ملا کر دیکھیں۔

max_tokens کے لیے کتنا مارجن چھوڑوں؟

جتنے لمبے جواب کی آپ توقع کرتے ہیں اس کا اندازہ لگائیں، تھنکنگ ماڈلز کے لیے ریزننگ بجٹ جوڑیں، اور اندازے کی غلطی کے لیے ونڈو کا 10 سے 20 فیصد خالی رکھیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں