BroadRouter

max_tokens

Обновлено

max_tokens — это параметр LLM API, который задаёт максимальное число токенов, которое модель может сгенерировать в одном ответе. Когда генерация доходит до лимита, она останавливается, а ответ помечается как обрезанный, например значением finish_reason "length".

Также называют: лимит токенов на ответ, максимальная длина ответа, лимит выходных токенов, max_tokens, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens — это бюджет на выход для одного ответа. Он защищает от бесконечных ответов, но при слишком низком значении обрезает ответ или не даёт получить ничего.

Как это работает

Модель генерирует по одному токену за раз. Когда счёт доходит до max_tokens, генерация останавливается, даже посреди предложения. Ответ сообщает, почему он закончился:

finish_reason Значение
stop Модель закончила сама
length Достигнут лимит max_tokens
tool_calls Модель просит вызвать инструмент

У параметра несколько имён. В Chat Completions API OpenAI max_tokens теперь помечен как устаревший в пользу max_completion_tokens — верхней границы, которая включает и видимый ответ, и токены рассуждений. В Responses API OpenAI используется max_output_tokens, в Messages API Anthropic — max_tokens. Многие OpenAI-совместимые провайдеры принимают max_tokens.

Промпт и ответ делят одно контекстное окно. Если окно — 32 768 токенов, а промпт — 30 000, вернуться может не больше 2768 токенов, что бы ни было указано в max_tokens.

Почему это важно

  • Контроль расходов. На ключе с оплатой за токены max_tokens — это максимум, который один ответ может стоить на выходе.
  • Пустые ответы. У моделей с рассуждениями размышления расходуют тот же бюджет. Лимит в 100 токенов может целиком уйти на токены рассуждений: видимый ответ будет пустым, а finish_reason — length.
  • Сломанный JSON. Обрезанный ответ оставляет структурированный вывод неполным, и его не разобрать. Проверяйте finish_reason до разбора.

В BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и в документации BroadNet сказано, что рассуждения учитываются в max_tokens. Задавайте от 1000 токенов, не задавайте параметр вовсе или уменьшите reasoning_effort. В примере ниже модель просят кратко изложить пункт договора, а при finish_reason == "length" код печатает подсказку увеличить max_tokens или уменьшить reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Размер контекста зависит от модели: 1 048 576 токенов у DeepSeek V4.1 Flash и GLM 5.3, 262 144 у Qwen3.8 27B и 32 768 у BroadNet Gemma 4 VL 26B. См. страницы моделей и почему модели с рассуждениями возвращают пустые ответы.

Частые ошибки

  • Переносить при миграции маленький лимит от модели без рассуждений. См. чек-лист миграции.
  • Считать length успехом. Логируйте его и повторяйте запрос с бо́льшим запасом.

Вопросы и ответы

max_tokens — это то же самое, что контекстное окно?

Нет. Контекстное окно — это весь объём, с которым работает модель: промпт плюс ответ. max_tokens ограничивает только ответ, а промпт вместе с max_tokens всё равно должен поместиться в окно.

Нужно ли всегда задавать max_tokens?

Задавайте его, когда нужен жёсткий предел стоимости или длины. Моделям с рассуждениями оставляйте большой запас или не задавайте параметр вовсе, если значения провайдера по умолчанию достаточно.

Чем max_tokens отличается от max_completion_tokens?

В Chat Completions OpenAI объявила max_tokens устаревшим в пользу max_completion_tokens, который явно включает токены рассуждений. Многие OpenAI-совместимые провайдеры по-прежнему принимают max_tokens.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity