BroadRouter

max_tokens (आउटपुट टोकन सीमा)

अपडेट किया गया

max_tokens एक LLM API पैरामीटर है जो तय करता है कि मॉडल एक जवाब में ज़्यादा से ज़्यादा कितने टोकन जनरेट कर सकता है। सीमा पर पहुँचते ही जनरेशन रुक जाता है और जवाब को कटा हुआ चिह्नित किया जाता है, जैसे finish_reason को "length" पर सेट करके।

अन्य नाम: आउटपुट टोकन सीमा, अधिकतम आउटपुट टोकन, max tokens kya hai, max_tokens kya hota hai, max_tokens, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens एक जवाब का आउटपुट बजट है। यह बेक़ाबू लंबे जवाबों से बचाता है, लेकिन बहुत कम रखा जाए तो जवाब कट जाते हैं या कुछ भी नहीं लौटता।

यह कैसे काम करता है

मॉडल एक बार में एक टोकन बनाता है। गिनती max_tokens तक पहुँचते ही जनरेशन रुक जाता है, चाहे वाक्य अधूरा हो। फिर जवाब बताता है कि वह क्यों ख़त्म हुआ:

finish_reason मतलब
stop मॉडल ने अपने-आप जवाब पूरा किया
length max_tokens की सीमा पूरी हो गई
tool_calls मॉडल कोई टूल कॉल करना चाहता है

इस पैरामीटर के कई नाम हैं। OpenAI का Chat Completions API अब max_tokens को deprecated बताता है और उसकी जगह max_completion_tokens देता है, एक ऊपरी सीमा जिसमें दिखने वाला आउटपुट और रीज़निंग टोकन दोनों शामिल हैं। OpenAI का Responses API max_output_tokens इस्तेमाल करता है। Anthropic का Messages API max_tokens इस्तेमाल करता है। कई OpenAI-कम्पैटिबल प्रोवाइडर max_tokens स्वीकार करते हैं।

प्रॉम्प्ट और आउटपुट एक ही कॉन्टेक्स्ट विंडो शेयर करते हैं। अगर विंडो 32,768 टोकन की है और प्रॉम्प्ट 30,000 का, तो ज़्यादा से ज़्यादा 2,768 टोकन लौट सकते हैं, max_tokens चाहे जो कहे।

यह क्यों मायने रखता है

  • लागत पर नियंत्रण. प्रति-टोकन वाली key पर max_tokens बताता है कि एक जवाब का आउटपुट ज़्यादा से ज़्यादा कितने का होगा।
  • ख़ाली जवाब. रीज़निंग मॉडल पर सोचने का हिस्सा भी इसी बजट से जाता है। 100 की सीमा पूरी की पूरी रीज़निंग टोकन में ख़र्च हो सकती है, तब दिखने वाला जवाब ख़ाली रहता है और finish_reason होता है length।
  • टूटा हुआ JSON. कटा हुआ जवाब स्ट्रक्चर्ड आउटपुट को अधूरा और पार्स न होने लायक छोड़ देता है। पार्स करने से पहले finish_reason देखें।

BroadNet Inference पर

DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और BroadNet के डॉक्स कहते हैं कि रीज़निंग max_tokens में गिनी जाती है। 1,000 या ज़्यादा टोकन की गुंजाइश दें, इसे सेट न करें, या reasoning_effort घटाएँ। नीचे का कोड finish_reason के length होने पर बताता है कि जवाब कट गया:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

कॉन्टेक्स्ट साइज़ मॉडल के हिसाब से अलग हैं: DeepSeek V4.1 Flash और GLM 5.3 के लिए 1,048,576 टोकन, Qwen3.8 27B के लिए 262,144 और BroadNet Gemma 4 VL 26B के लिए 32,768। मॉडल पेज और रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाते हैं देखें।

आम ग़लतियाँ

  • माइग्रेशन के दौरान किसी नॉन-रीज़निंग मॉडल की छोटी सीमा कॉपी कर लेना। माइग्रेशन चेकलिस्ट देखें।
  • length को सफलता मान लेना। इसे लॉग करें और ज़्यादा गुंजाइश के साथ रीट्राई करें।

अक्सर पूछे जाने वाले सवाल

क्या max_tokens और कॉन्टेक्स्ट विंडो एक ही चीज़ हैं?

नहीं। कॉन्टेक्स्ट विंडो वह कुल मात्रा है जो मॉडल सँभाल सकता है, प्रॉम्प्ट और आउटपुट मिलाकर। max_tokens सिर्फ़ आउटपुट को सीमित करता है, और प्रॉम्प्ट व max_tokens मिलकर भी विंडो में समाने चाहिए।

क्या मुझे हमेशा max_tokens सेट करना चाहिए?

तब सेट करें जब लागत या लंबाई पर पक्की सीमा चाहिए। रीज़निंग मॉडल पर भरपूर जगह छोड़ें, या अगर प्रोवाइडर का डिफ़ॉल्ट काफ़ी बड़ा है तो इसे सेट ही न करें।

max_tokens और max_completion_tokens में क्या फ़र्क़ है?

OpenAI ने Chat Completions पर max_tokens को deprecated करके max_completion_tokens अपनाया, जिसमें रीज़निंग टोकन साफ़ तौर पर शामिल हैं। कई OpenAI-कम्पैटिबल प्रोवाइडर अब भी max_tokens स्वीकार करते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें