BroadRouter

max_tokens

Güncellendi

max_tokens, bir modelin tek bir yanıtta üretebileceği en yüksek token sayısını belirleyen bir LLM API parametresidir. Üretim bu sınıra ulaştığında durur ve yanıt kesilmiş olarak işaretlenir; örneğin finish_reason değeri "length" olur.

Diğer adları: maksimum token, çıktı token sınırı, maksimum çıktı uzunluğu, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens, tek bir yanıtın çıktı bütçesidir. Sizi kontrolsüz uzayan yanıtlardan korur; ancak çok düşük ayarlanırsa yanıtları keser ya da hiçbir şey döndürmez.

Nasıl çalışır

Model her seferinde bir token üretir. Sayı max_tokens değerine ulaştığında üretim, cümlenin ortasında bile olsa durur. Yanıt ardından neden bittiğini söyler:

finish_reason Anlamı
stop Model kendiliğinden bitirdi
length max_tokens sınırına ulaşıldı
tool_calls Model bir aracı çağırmak istiyor

Parametrenin birkaç adı vardır. OpenAI’nin Chat Completions API’si artık max_tokens alanını kullanımdan kaldırılmış olarak işaretler ve yerine hem görünen çıktıyı hem de akıl yürütme token’larını kapsayan bir üst sınır olan max_completion_tokens alanını önerir. OpenAI’nin Responses API’si max_output_tokens kullanır. Anthropic’in Messages API’si max_tokens kullanır. Birçok OpenAI uyumlu sağlayıcı max_tokens kabul eder.

İstem ve çıktı aynı bağlam penceresini paylaşır. Pencere 32.768 token ve istem 30.000 token ise, max_tokens ne derse desin en fazla 2.768 token geri gelebilir.

Neden önemli

  • Maliyet kontrolü. Token başına ücretlendirilen bir anahtarda max_tokens, tek bir yanıtın çıktı olarak tutabileceği en yüksek tutardır.
  • Boş yanıtlar. Akıl yürütme modellerinde düşünme aynı bütçeden harcanır. 100’lük bir sınır tamamen akıl yürütme token’larına gidebilir; görünen yanıt boş kalır ve finish_reason değeri length olur.
  • Bozuk JSON. Kesilen bir yanıt, yapılandırılmış çıktıyı eksik ve ayrıştırılamaz bırakır. Ayrıştırmadan önce finish_reason değerini kontrol edin.

BroadNet Inference’ta

DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve BroadNet’in belgelerine göre akıl yürütme max_tokens sınırına dahildir. 1.000 veya daha fazla token ayırın, değeri hiç ayarlamayın ya da reasoning_effort değerini düşürün:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Bağlam boyutları modele göre değişir: DeepSeek V4.1 Flash ve GLM 5.3 için 1.048.576 token, Qwen3.8 27B için 262.144 ve BroadNet Gemma 4 VL 26B için 32.768. Model sayfalarına ve akıl yürütme modelleri neden boş yanıt döndürür rehberine bakın.

Sık yapılan hatalar

  • Geçiş sırasında akıl yürütmeyen bir modelden küçük bir sınırı olduğu gibi kopyalamak. Geçiş kontrol listesine bakın.
  • length sonucunu başarı saymak. Kaydedin ve daha fazla payla yeniden deneyin.

Sık sorulan sorular

max_tokens, bağlam penceresiyle aynı şey mi?

Hayır. Bağlam penceresi, modelin işleyebileceği toplamdır: istem artı çıktı. max_tokens yalnızca çıktıyı sınırlar ve istem ile max_tokens toplamı yine pencereye sığmalıdır.

max_tokens'ı her zaman ayarlamalı mıyım?

Maliyet veya uzunluk için kesin bir üst sınıra ihtiyacınız olduğunda ayarlayın. Akıl yürütme modellerinde cömert bir pay bırakın ya da sağlayıcının varsayılanı yeterince büyükse hiç ayarlamayın.

max_tokens ile max_completion_tokens arasındaki fark nedir?

OpenAI, Chat Completions'ta max_tokens'ı kullanımdan kaldırıp akıl yürütme token'larını açıkça kapsayan max_completion_tokens'ı önerdi. Birçok OpenAI uyumlu sağlayıcı hâlâ max_tokens kabul eder.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor