BroadRouter

max_tokens (آؤٹ پٹ ٹوکن کی حد)

اپ ڈیٹ

max_tokens ایک LLM API پیرامیٹر ہے جو طے کرتا ہے کہ ماڈل ایک جواب میں زیادہ سے زیادہ کتنے ٹوکن بنا سکتا ہے۔ حد پر پہنچتے ہی جنریشن رک جاتی ہے اور جواب کو کٹا ہوا قرار دیا جاتا ہے، مثلاً finish_reason کو "length" پر سیٹ کر کے۔

دوسرے نام: آؤٹ پٹ ٹوکن کی حد، زیادہ سے زیادہ آؤٹ پٹ ٹوکن، max tokens kya hai، max_tokens kya hota hai، max_tokens، max_completion_tokens، max_output_tokens، output token limit، maximum output length

max_tokens ایک جواب کا آؤٹ پٹ بجٹ ہے۔ یہ بے قابو لمبے جوابات سے بچاتا ہے، لیکن بہت کم رکھا جائے تو جوابات کٹ جاتے ہیں یا کچھ بھی نہیں لوٹتا۔

یہ کیسے کام کرتا ہے

ماڈل ایک وقت میں ایک ٹوکن بناتا ہے۔ گنتی max_tokens تک پہنچتے ہی جنریشن رک جاتی ہے، چاہے جملہ ادھورا ہو۔ پھر جواب بتاتا ہے کہ وہ کیوں ختم ہوا:

finish_reason مطلب
stop ماڈل نے خود جواب مکمل کیا
length max_tokens کی حد پوری ہو گئی
tool_calls ماڈل کوئی ٹول کال کرنا چاہتا ہے

اس پیرامیٹر کے کئی نام ہیں۔ OpenAI کا Chat Completions API اب max_tokens کو deprecated قرار دیتا ہے اور اس کی جگہ max_completion_tokens دیتا ہے، ایک بالائی حد جس میں نظر آنے والا آؤٹ پٹ اور ریزننگ ٹوکن دونوں شامل ہیں۔ OpenAI کا Responses API max_output_tokens استعمال کرتا ہے۔ Anthropic کا Messages API max_tokens استعمال کرتا ہے۔ کئی OpenAI-compatible فراہم کنندگان max_tokens قبول کرتے ہیں۔

پرامپٹ اور آؤٹ پٹ ایک ہی کانٹیکسٹ ونڈو شیئر کرتے ہیں۔ اگر ونڈو 32,768 ٹوکن کی ہے اور پرامپٹ 30,000 کا، تو زیادہ سے زیادہ 2,768 ٹوکن واپس آ سکتے ہیں، max_tokens چاہے کچھ بھی کہے۔

یہ کیوں اہم ہے

  • لاگت پر قابو۔ فی ٹوکن والی کلید پر max_tokens بتاتا ہے کہ ایک جواب کا آؤٹ پٹ زیادہ سے زیادہ کتنے کا ہوگا۔
  • خالی جوابات۔ ریزننگ ماڈلز پر سوچنے کا حصہ بھی اسی بجٹ سے جاتا ہے۔ 100 کی حد پوری کی پوری ریزننگ ٹوکنز میں خرچ ہو سکتی ہے، تب نظر آنے والا جواب خالی رہتا ہے اور finish_reason، length ہوتا ہے۔
  • ٹوٹا ہوا JSON۔ کٹا ہوا جواب اسٹرکچرڈ آؤٹ پٹ کو ادھورا اور ناقابلِ پارس چھوڑ دیتا ہے۔ پارس کرنے سے پہلے finish_reason دیکھیں۔

BroadNet Inference پر

DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور BroadNet کی دستاویزات کہتی ہیں کہ ریزننگ max_tokens میں گنی جاتی ہے۔ 1,000 یا زیادہ ٹوکن کی گنجائش دیں، اسے سیٹ نہ کریں، یا reasoning_effort کم کریں۔ نیچے کا کوڈ finish_reason کے length ہونے پر بتاتا ہے کہ جواب کٹ گیا:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

کانٹیکسٹ سائز ماڈل کے لحاظ سے مختلف ہیں: DeepSeek V4.1 Flash اور GLM 5.3 کے لیے 1,048,576 ٹوکن، Qwen3.8 27B کے لیے 262,144 اور BroadNet Gemma 4 VL 26B کے لیے 32,768۔ ماڈل صفحات اور ریزننگ ماڈلز خالی جوابات کیوں لوٹاتے ہیں دیکھیں۔

عام غلطیاں

  • مائیگریشن کے دوران کسی غیر ریزننگ ماڈل کی چھوٹی حد کاپی کر لینا۔ مائیگریشن چیک لسٹ دیکھیں۔
  • length کو کامیابی سمجھنا۔ اسے لاگ کریں اور زیادہ گنجائش کے ساتھ دوبارہ کوشش کریں۔

عام سوالات

کیا max_tokens اور کانٹیکسٹ ونڈو ایک ہی چیز ہیں؟

نہیں۔ کانٹیکسٹ ونڈو وہ کل مقدار ہے جو ماڈل سنبھال سکتا ہے، پرامپٹ اور آؤٹ پٹ ملا کر۔ max_tokens صرف آؤٹ پٹ کو محدود کرتا ہے، اور پرامپٹ اور max_tokens مل کر بھی ونڈو میں سمانے چاہییں۔

کیا مجھے ہمیشہ max_tokens سیٹ کرنا چاہیے؟

تب سیٹ کریں جب لاگت یا لمبائی پر سخت حد چاہیے۔ ریزننگ ماڈلز پر کھلی جگہ چھوڑیں، یا اگر فراہم کنندہ کا ڈیفالٹ کافی بڑا ہے تو اسے سیٹ ہی نہ کریں۔

max_tokens اور max_completion_tokens میں کیا فرق ہے؟

OpenAI نے Chat Completions پر max_tokens کو deprecated کر کے max_completion_tokens اپنایا، جس میں ریزننگ ٹوکن واضح طور پر شامل ہیں۔ کئی OpenAI-compatible فراہم کنندگان اب بھی max_tokens قبول کرتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں