max_tokens, tek bir yanıtın çıktı bütçesidir. Sizi kontrolsüz uzayan yanıtlardan korur; ancak çok düşük ayarlanırsa yanıtları keser ya da hiçbir şey döndürmez.
Nasıl çalışır
Model her seferinde bir token üretir. Sayı max_tokens değerine ulaştığında üretim, cümlenin ortasında bile olsa durur. Yanıt ardından neden bittiğini söyler:
finish_reason |
Anlamı |
|---|---|
stop |
Model kendiliğinden bitirdi |
length |
max_tokens sınırına ulaşıldı |
tool_calls |
Model bir aracı çağırmak istiyor |
Parametrenin birkaç adı vardır. OpenAI’nin Chat Completions API’si artık max_tokens alanını kullanımdan kaldırılmış olarak işaretler ve yerine hem görünen çıktıyı hem de akıl yürütme token’larını kapsayan bir üst sınır olan max_completion_tokens alanını önerir. OpenAI’nin Responses API’si max_output_tokens kullanır. Anthropic’in Messages API’si max_tokens kullanır. Birçok OpenAI uyumlu sağlayıcı max_tokens kabul eder.
İstem ve çıktı aynı bağlam penceresini paylaşır. Pencere 32.768 token ve istem 30.000 token ise, max_tokens ne derse desin en fazla 2.768 token geri gelebilir.
Neden önemli
- Maliyet kontrolü. Token başına ücretlendirilen bir anahtarda
max_tokens, tek bir yanıtın çıktı olarak tutabileceği en yüksek tutardır. - Boş yanıtlar. Akıl yürütme modellerinde düşünme aynı bütçeden harcanır. 100’lük bir sınır tamamen akıl yürütme token’larına gidebilir; görünen yanıt boş kalır ve
finish_reasondeğerilengtholur. - Bozuk JSON. Kesilen bir yanıt, yapılandırılmış çıktıyı eksik ve ayrıştırılamaz bırakır. Ayrıştırmadan önce
finish_reasondeğerini kontrol edin.
BroadNet Inference’ta
DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve BroadNet’in belgelerine göre akıl yürütme max_tokens sınırına dahildir. 1.000 veya daha fazla token ayırın, değeri hiç ayarlamayın ya da reasoning_effort değerini düşürün:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Bağlam boyutları modele göre değişir: DeepSeek V4.1 Flash ve GLM 5.3 için 1.048.576 token, Qwen3.8 27B için 262.144 ve BroadNet Gemma 4 VL 26B için 32.768. Model sayfalarına ve akıl yürütme modelleri neden boş yanıt döndürür rehberine bakın.
Sık yapılan hatalar
- Geçiş sırasında akıl yürütmeyen bir modelden küçük bir sınırı olduğu gibi kopyalamak. Geçiş kontrol listesine bakın.
lengthsonucunu başarı saymak. Kaydedin ve daha fazla payla yeniden deneyin.