Вы отправляете короткий промпт с max_tokens: 100, запрос проходит успешно, а choices[0].message.content пустой. Ничего не сломалось: ответ просто не успел начаться.
Что происходит
Рассуждающие модели перед видимым ответом пишут скрытую цепочку рассуждений. У них общий бюджет max_tokens. При маленьком лимите рассуждения забирают его целиком, и в стандартном формате chat completions finish_reason тогда равен length.
Три способа исправить
1. Оставьте запас. Задайте max_tokens от 1000 и выше, как советует документация BroadNet. Калькулятор max_tokens для рассуждающих моделей подберёт лимит под длину вашего ответа и покажет стоимость.
2. Меньше рассуждений. Для простых задач задайте reasoning_effort равным low:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Следите за usage. Если модель это сообщает, usage.completion_tokens_details.reasoning_tokens показывает, сколько ушло на рассуждения. Комментарии в коде ниже поясняют: "length" значит, что бюджет закончился, а completion_tokens_details равен None, если модель разбивку не сообщает:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
При стриминге добавьте stream_options={"include_usage": True}, и те же данные usage придут в последнем чанке. См. стриминг chat completions.
Какие модели рассуждают
| Модель | Сначала рассуждает |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Да |
GLM 5.3 (broadnet/glm-5.3) |
Да |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Да |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Не указано |
Решение проблем
- Пустой
content,finish_reasonравенlength. Увеличьтеmax_tokensили задайтеreasoning_effortравнымlow. - Пустой
content,finish_reasonравенstop. Дело не в лимите. Проверьте промпт и выведите ответ целиком, чтобы увидеть, что пришло. AttributeErrorнаcompletion_tokens_details. Модель не сообщила разбивку для этого запроса; проверяйте наNone, как в примере выше.- Долгое ожидание первого токена при стриминге. Модель рассуждает, прежде чем писать ответ. Более низкий
reasoning_effortможет сократить ожидание.
Если агенты работают у вас весь день, при оплате по факту токены рассуждений накапливаются. Калькулятор цен BroadNet покажет, когда фиксированный безлимитный тариф обходится дешевле.
