BroadRouter

Почему рассуждающая модель возвращает пустой ответ

Обновлено

Модель потратила весь бюджет max_tokens на рассуждения и не успела начать видимый ответ. В BroadNet Inference модели DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают, и рассуждения учитываются в max_tokens. Оставьте 1000 токенов или больше либо задайте reasoning_effort low.

Вы отправляете короткий промпт с max_tokens: 100, запрос проходит успешно, а choices[0].message.content пустой. Ничего не сломалось: ответ просто не успел начаться.

Что происходит

Рассуждающие модели перед видимым ответом пишут скрытую цепочку рассуждений. У них общий бюджет max_tokens. При маленьком лимите рассуждения забирают его целиком, и в стандартном формате chat completions finish_reason тогда равен length.

Три способа исправить

1. Оставьте запас. Задайте max_tokens от 1000 и выше, как советует документация BroadNet. Калькулятор max_tokens для рассуждающих моделей подберёт лимит под длину вашего ответа и покажет стоимость.

2. Меньше рассуждений. Для простых задач задайте reasoning_effort равным low:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Следите за usage. Если модель это сообщает, usage.completion_tokens_details.reasoning_tokens показывает, сколько ушло на рассуждения. Комментарии в коде ниже поясняют: "length" значит, что бюджет закончился, а completion_tokens_details равен None, если модель разбивку не сообщает:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

При стриминге добавьте stream_options={"include_usage": True}, и те же данные usage придут в последнем чанке. См. стриминг chat completions.

Какие модели рассуждают

Модель Сначала рассуждает
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Да
GLM 5.3 (broadnet/glm-5.3) Да
Qwen3.8 27B (broadnet/qwen3.8-27b) Да
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Не указано

Решение проблем

  • Пустой content, finish_reason равен length. Увеличьте max_tokens или задайте reasoning_effort равным low.
  • Пустой content, finish_reason равен stop. Дело не в лимите. Проверьте промпт и выведите ответ целиком, чтобы увидеть, что пришло.
  • AttributeError на completion_tokens_details. Модель не сообщила разбивку для этого запроса; проверяйте на None, как в примере выше.
  • Долгое ожидание первого токена при стриминге. Модель рассуждает, прежде чем писать ответ. Более низкий reasoning_effort может сократить ожидание.

Если агенты работают у вас весь день, при оплате по факту токены рассуждений накапливаются. Калькулятор цен BroadNet покажет, когда фиксированный безлимитный тариф обходится дешевле.

Вопросы и ответы

Платные ли рассуждения?

При оплате по факту рассуждения входят в completion tokens, а они оплачиваются по цене выхода. На безлимитном тарифе для DeepSeek V4.1 Flash счётчика токенов нет, поэтому дополнительно они ничего не стоят.

Рассуждает ли BroadNet Gemma 4 VL 26B?

Документация BroadNet указывает рассуждения для DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, но не для Gemma 4 VL 26B.

Почему content сообщения пустой, если finish_reason равен length?

Бюджет токенов закончился раньше, чем начался видимый ответ. Рассуждающая модель сначала пишет рассуждения, и эти токены учитываются в max_tokens. Увеличьте max_tokens до 1000 или больше либо снизьте reasoning_effort.

Что делает reasoning_effort low?

Просит модель меньше рассуждать перед ответом. Документация BroadNet предлагает его как альтернативу большему max_tokens, когда из-за маленького лимита ответ остаётся пустым. Используйте его для простых задач, например классификации или извлечения данных.

Как узнать, сколько токенов ушло на рассуждения?

Посмотрите usage.completion_tokens_details.reasoning_tokens в ответе, если модель его сообщает. При стриминге передайте stream_options с include_usage true и прочитайте значение в последнем чанке.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity