Ang max_tokens ang output budget para sa isang sagot. Pinoprotektahan ka nito sa mga sagot na hindi tumitigil, pero kapag masyadong mababa, napuputol ang sagot o wala talagang lumalabas.
Paano ito gumagana
Isa-isang token ang binubuo ng model. Kapag umabot ang bilang sa max_tokens, humihinto ito, kahit nasa gitna pa ng pangungusap. Sinasabi naman ng response kung bakit ito natapos:
finish_reason |
Ibig sabihin |
|---|---|
stop |
Kusang natapos ang model |
length |
Naabot ang limit ng max_tokens |
tool_calls |
Humihiling ang model na tumawag ng tool |
Ilang pangalan ang mayroon ang parameter na ito. Sa Chat Completions API ng OpenAI, deprecated na ang max_tokens kapalit ng max_completion_tokens, isang upper limit na sumasakop sa nakikitang output at sa reasoning tokens. max_output_tokens ang gamit ng Responses API ng OpenAI. max_tokens ang gamit ng Messages API ng Anthropic. Tumatanggap ng max_tokens ang maraming OpenAI-compatible na provider.
Iisang context window ang pinaghahatian ng prompt at output. Kung 32,768 token ang window at 30,000 ang prompt, hanggang 2,768 token lang ang puwedeng bumalik, anuman ang nakalagay sa max_tokens.
Bakit ito mahalaga
- Kontrol sa gastos. Sa isang per-token na key, ang
max_tokensang pinakamalaking puwedeng magastos ng isang sagot sa output. - Walang lamang sagot. Sa mga reasoning model, sa parehong budget kinukuha ang pag-iisip. Puwedeng maubos sa reasoning tokens ang limit na 100, kaya walang laman ang nakikitang sagot at
lengthangfinish_reason. - Sirang JSON. Kapag naputol ang sagot, kulang at hindi ma-parse ang structured output. Suriin ang
finish_reasonbago mag-parse.
Sa BroadNet Inference
Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at ayon sa docs ng BroadNet, kasama ang reasoning sa max_tokens. Maglaan ng 1,000 token o higit pa, huwag itong i-set, o babaan ang reasoning_effort. Sa example sa ibaba, kapag length ang finish_reason, nagpi-print ito ng paalala na naputol ang sagot at dapat taasan ang max_tokens o babaan ang reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Iba-iba ang laki ng context bawat model: 1,048,576 token para sa DeepSeek V4.1 Flash at GLM 5.3, 262,144 para sa Qwen3.8 27B at 32,768 para sa BroadNet Gemma 4 VL 26B. Tingnan ang mga page ng model at kung bakit walang laman ang sagot ng mga reasoning model.
Mga karaniwang pagkakamali
- Pagkopya ng maliit na limit mula sa non-reasoning model habang nagma-migrate. Tingnan ang migration checklist.
- Pagturing sa
lengthbilang tagumpay. I-log ito at mag-retry nang may mas maluwag na espasyo.