BroadRouter

Токены рассуждений: почему вы платите за выход, которого не видите

Команда BroadNet Inference · 4 мин чтения · Опубликовано · Обновлено

Модель с рассуждениями пишет скрытые размышления перед ответом, и эти токены рассуждений оплачиваются по цене выхода. За ответом на 200 токенов может стоять 1 000 и больше токенов размышлений. В BroadNet Inference рассуждают DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B. Снизить стоимость помогают reasoning_effort со значением low, разумный max_tokens и модель без рассуждений для простых шагов.

Вы отправляете короткий вопрос, получаете ответ в две строки, а в счёте — 1 400 выходных токенов. Ничего не сломалось. Модель подумала перед ответом, и размышления попали в счёт. В этой статье — как считаются токены рассуждений, сколько они стоят на каждой модели и четыре настройки, которые ими управляют.

Что такое токены рассуждений?

Модель с рассуждениями сначала пишет внутреннюю цепочку размышлений, а затем видимый ответ. И то и другое — результат одной генерации. Размышления состоят из токенов рассуждений. В стандартном ответе chat completions ответ лежит в message.content, а размышления учитываются, но не показываются.

Руководство OpenAI по рассуждениям прямо формулирует правило: токены рассуждений “still occupy space in the model’s context window and are billed as” output tokens (перевод: «всё равно занимают место в контекстном окне модели и оплачиваются как» выходные токены). Другие провайдеры следуют тому же правилу.

Как оплачиваются токены рассуждений?

Они входят в completion_tokens, поэтому оплачиваются по цене выхода. А выход — дорогой счётчик:

Модель Сначала рассуждает Выход за 1 млн Вход за 1 млн
DeepSeek V4.1 Flash Да $0.52 $0.175
GLM 5.3 Да $3.46 $0.78
Qwen3.8 27B Да $2.17 $0.175
Gemma 4 VL 26B Не указано $0.22 $0.10

Цены — BroadNet Inference, синхронизированы 2026-11-14. Сколько за те же модели берут другие хостеры, смотрите в таблице цен на LLM API, например GLM 5.3 у разных провайдеров.

Насколько рассуждения могут увеличить счёт?

Возьмём классификатор, который возвращает метку из одного слова — около 10 видимых токенов. Если модель перед этим думает 1 000 токенов, 99% счёта за выход — это размышления.

В масштабе: 1 000 ответов по 1 000 токенов рассуждений каждый добавляют 1 млн выходных токенов. Это $0.52 на DeepSeek V4.1 Flash, $2.17 на Qwen3.8 27B и $3.46 на GLM 5.3 — сверх видимых ответов.

Объём зависит от задачи. Сложная математика или рассуждения о коде в нескольких файлах могут занимать тысячи токенов. Приветствию может почти ничего не понадобиться. Поэтому и нужно измерять.

Как измерить токены рассуждений?

Блок usage сообщает их, если модель отдаёт это число:

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

Логируйте это по типам задач в течение недели. Обычно оказывается, что большая часть размышлений приходится на несколько задач. При стриминге добавьте stream_options: {"include_usage": true}; счётчики придут в последнем чанке (руководство по стримингу).

Четыре способа контролировать стоимость рассуждений

1. Снижайте reasoning_effort для простых задач

reasoning_effort просит модель думать меньше. Руководства BroadNet используют low для классификации, извлечения данных и форматирования:

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

OpenAI документирует для своих моделей более широкий набор значений — от none и minimal через low, medium и high до xhigh и max — и отмечает, что “some models support only a subset” (перевод: «некоторые модели поддерживают только часть из них»). Проверьте, какие значения принимает ваша модель, и сравните число выходных токенов до и после на одних и тех же примерах.

2. Задавайте max_tokens как потолок, а не как удавку

max_tokens ограничивает рассуждения и ответ вместе. Он останавливает разогнавшийся ответ, но если задать его слишком низким, модель может потратить весь бюджет на размышления и вернуть пустой ответ с finish_reason: "length". За эти размышления вы заплатите, и запрос всё равно придётся повторить. BroadNet советует для моделей с рассуждениями 1 000 токенов или больше. Почему модель с рассуждениями возвращает пустой ответ.

3. Отправляйте лёгкие шаги модели без рассуждений

Не каждому шагу нужно думать. Форматирование JSON, переименование полей или ответы на типовые вопросы из FAQ можно отдать Gemma 4 VL 26B за $0.22 за 1 млн выходных токенов — BroadNet не указывает для неё рассуждения. Модели с рассуждениями оставьте для планирования, отладки и многошаговых ответов. Прежде чем маршрутизировать, проверьте качество на своих примерах.

4. Уберите из промптов «думай шаг за шагом»

Модели с рассуждениями и так думают. Если сверху попросить видимые пошаговые рассуждения, они напишут их дважды: один раз скрыто, другой — в ответе. Просите итоговый ответ в нужном вам формате.

Какую настройку использовать для какой задачи?

Задача Уровень рассуждений max_tokens Какую модель попробовать
Классификация, маршрутизация low 1 000 Gemma 4 VL 26B или DeepSeek V4.1 Flash
Извлечение данных в JSON low от 1 000 до 2 000 DeepSeek V4.1 Flash, GLM 5.3 для структурированного вывода
Черновики ответов клиентам low или по умолчанию 2 000 DeepSeek V4.1 Flash
Отладка, планирование, ревью кода по умолчанию или выше 8 000 или не задан DeepSeek V4.1 Flash или GLM 5.3

Это отправные точки. Измерьте число выходных токенов и качество на своих данных, затем подстройте.

Когда рассуждения перестают стоить дополнительно?

На тарифе с фиксированной ценой. Тариф Full Moon от BroadNet стоит $60 в месяц за сессию безлимитного DeepSeek V4.1 Flash без счётчика токенов, поэтому у токенов рассуждений нет стоимости в пересчёте на токен. Время они всё равно занимают: при типичной скорости около 100 токенов в секунду каждый токен рассуждений генерируется до начала ответа, поэтому долгие размышления задерживают ответ. Когда фиксированный тариф выгоднее оплаты за токены и ещё десять способов снизить счёт агента для программирования.

Какое место здесь занимает BroadNet Inference

BroadNet запускает три модели с рассуждениями и одну модель, для которой рассуждения не указаны, на одном OpenAI-совместимом ключе по адресу https://inference.broadnet.ai/v1 и сообщает использование в каждом ответе. Поэтому легко маршрутизировать по задачам и измерять разницу. Если вам нужна закрытая модель с видимой сводкой рассуждений, используйте API её поставщика; в чат-каталоге BroadNet закрытых моделей нет. Посмотрите тарифы.

Вопросы и ответы

Токены рассуждений оплачиваются как вход или как выход?

Как выход. Их генерирует модель, они учитываются в completion_tokens и оплачиваются по цене выхода за 1 млн токенов.

Можно ли полностью отключить рассуждения?

Зависит от модели. OpenAI документирует значения effort, среди которых на некоторых моделях есть none или minimal. В BroadNet задайте reasoning_effort равным low или используйте Gemma 4 VL 26B, для которой BroadNet не указывает рассуждения.

Экономит ли низкий max_tokens на моделях с рассуждениями?

Лишь отчасти. Он ограничивает счёт, но если рассуждения израсходуют весь бюджет, вы заплатите за размышления и получите пустой ответ. Лучше снизьте effort и держите max_tokens на уровне 1 000 или больше.

Вижу ли я текст рассуждений?

Обычно не в поле content. Блок usage сообщает, сколько токенов рассуждений было использовано, — если модель это сообщает, — в completion_tokens_details.reasoning_tokens.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity