max_tokens adalah anggaran output untuk satu balasan. Parameter ini melindungi Anda dari jawaban yang tak terkendali, tetapi jika terlalu rendah, jawaban terpotong atau tidak ada sama sekali.
Cara kerjanya
Model menghasilkan satu token setiap kali. Saat jumlahnya mencapai max_tokens, generasi berhenti, bahkan di tengah kalimat. Respons lalu menyebutkan alasan berhentinya:
finish_reason |
Artinya |
|---|---|
stop |
Model selesai dengan sendirinya |
length |
Batas max_tokens tercapai |
tool_calls |
Model meminta untuk memanggil tool |
Parameter ini punya beberapa nama. Chat Completions API milik OpenAI kini menandai max_tokens sebagai deprecated dan menggantinya dengan max_completion_tokens, batas atas yang mencakup output yang terlihat sekaligus token penalaran. Responses API milik OpenAI memakai max_output_tokens. Messages API milik Anthropic memakai max_tokens. Banyak penyedia kompatibel OpenAI menerima max_tokens.
Prompt dan output berbagi satu context window. Jika window-nya 32.768 token dan prompt-nya 30.000, paling banyak 2.768 token yang bisa kembali, berapa pun nilai max_tokens.
Kenapa ini penting
- Kontrol biaya. Pada kunci yang ditagih per token,
max_tokensadalah biaya output maksimum untuk satu balasan. - Jawaban kosong. Pada model penalaran, proses berpikir diambil dari anggaran yang sama. Batas 100 bisa habis seluruhnya untuk token penalaran, sehingga jawaban yang terlihat kosong dan
finish_reasonbernilailength. - JSON rusak. Balasan yang terpotong membuat output terstruktur tidak lengkap dan tidak bisa di-parse. Periksa
finish_reasonsebelum mem-parse.
Di BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan menurut dokumentasi BroadNet penalaran ikut dihitung dalam max_tokens. Sediakan 1.000 token atau lebih, biarkan tidak diatur, atau turunkan reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Ukuran konteks berbeda per model: 1.048.576 token untuk DeepSeek V4.1 Flash dan GLM 5.3, 262.144 untuk Qwen3.8 27B, dan 32.768 untuk BroadNet Gemma 4 VL 26B. Lihat halaman model dan kenapa model penalaran mengembalikan jawaban kosong.
Kesalahan umum
- Menyalin batas kecil dari model non-penalaran saat migrasi. Lihat checklist migrasi.
- Menganggap
lengthsebagai keberhasilan. Catat dan coba ulang dengan ruang yang lebih besar.