max_tokens ایک جواب کا آؤٹ پٹ بجٹ ہے۔ یہ بے قابو لمبے جوابات سے بچاتا ہے، لیکن بہت کم رکھا جائے تو جوابات کٹ جاتے ہیں یا کچھ بھی نہیں لوٹتا۔
یہ کیسے کام کرتا ہے
ماڈل ایک وقت میں ایک ٹوکن بناتا ہے۔ گنتی max_tokens تک پہنچتے ہی جنریشن رک جاتی ہے، چاہے جملہ ادھورا ہو۔ پھر جواب بتاتا ہے کہ وہ کیوں ختم ہوا:
finish_reason |
مطلب |
|---|---|
stop |
ماڈل نے خود جواب مکمل کیا |
length |
max_tokens کی حد پوری ہو گئی |
tool_calls |
ماڈل کوئی ٹول کال کرنا چاہتا ہے |
اس پیرامیٹر کے کئی نام ہیں۔ OpenAI کا Chat Completions API اب max_tokens کو deprecated قرار دیتا ہے اور اس کی جگہ max_completion_tokens دیتا ہے، ایک بالائی حد جس میں نظر آنے والا آؤٹ پٹ اور ریزننگ ٹوکن دونوں شامل ہیں۔ OpenAI کا Responses API max_output_tokens استعمال کرتا ہے۔ Anthropic کا Messages API max_tokens استعمال کرتا ہے۔ کئی OpenAI-compatible فراہم کنندگان max_tokens قبول کرتے ہیں۔
پرامپٹ اور آؤٹ پٹ ایک ہی کانٹیکسٹ ونڈو شیئر کرتے ہیں۔ اگر ونڈو 32,768 ٹوکن کی ہے اور پرامپٹ 30,000 کا، تو زیادہ سے زیادہ 2,768 ٹوکن واپس آ سکتے ہیں، max_tokens چاہے کچھ بھی کہے۔
یہ کیوں اہم ہے
- لاگت پر قابو۔ فی ٹوکن والی کلید پر
max_tokensبتاتا ہے کہ ایک جواب کا آؤٹ پٹ زیادہ سے زیادہ کتنے کا ہوگا۔ - خالی جوابات۔ ریزننگ ماڈلز پر سوچنے کا حصہ بھی اسی بجٹ سے جاتا ہے۔ 100 کی حد پوری کی پوری ریزننگ ٹوکنز میں خرچ ہو سکتی ہے، تب نظر آنے والا جواب خالی رہتا ہے اور
finish_reason،lengthہوتا ہے۔ - ٹوٹا ہوا JSON۔ کٹا ہوا جواب اسٹرکچرڈ آؤٹ پٹ کو ادھورا اور ناقابلِ پارس چھوڑ دیتا ہے۔ پارس کرنے سے پہلے
finish_reasonدیکھیں۔
BroadNet Inference پر
DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب دینے سے پہلے ریزننگ کرتے ہیں، اور BroadNet کی دستاویزات کہتی ہیں کہ ریزننگ max_tokens میں گنی جاتی ہے۔ 1,000 یا زیادہ ٹوکن کی گنجائش دیں، اسے سیٹ نہ کریں، یا reasoning_effort کم کریں۔ نیچے کا کوڈ finish_reason کے length ہونے پر بتاتا ہے کہ جواب کٹ گیا:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
کانٹیکسٹ سائز ماڈل کے لحاظ سے مختلف ہیں: DeepSeek V4.1 Flash اور GLM 5.3 کے لیے 1,048,576 ٹوکن، Qwen3.8 27B کے لیے 262,144 اور BroadNet Gemma 4 VL 26B کے لیے 32,768۔ ماڈل صفحات اور ریزننگ ماڈلز خالی جوابات کیوں لوٹاتے ہیں دیکھیں۔
عام غلطیاں
- مائیگریشن کے دوران کسی غیر ریزننگ ماڈل کی چھوٹی حد کاپی کر لینا۔ مائیگریشن چیک لسٹ دیکھیں۔
lengthکو کامیابی سمجھنا۔ اسے لاگ کریں اور زیادہ گنجائش کے ساتھ دوبارہ کوشش کریں۔