BroadRouter

Сокращаем токены промпта: замеры для инструкций, инструментов, данных

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Сначала измерьте: логируйте prompt_tokens по каждому вызову, найдите самую большую часть и сравните «до» и «после» токенизатором модели. На пяти токенизаторах сокращение многословного системного промпта сэкономило 68–71%, а CSV занял на 31–41% меньше токенов, чем минифицированный JSON. На трёх моделях сокращённый системный промпт с тремя короткими инструментами вместо десяти многословных сократил полный отрендеренный запрос примерно на 65–71%.

Короткие промпты дешевле, оставляют больше контекстного окна для работы и обычно быстрее возвращают первый токен. Но совет «сделайте промпт короче» слишком расплывчат. В этой статье мы измеряем типичные сокращения на одном реалистичном промпте бота поддержки с реальными токенизаторами четырёх открытых моделей и o200k_base от OpenAI, чтобы было видно, какие правки стоят вашего времени.

Если вы запускаете агента для программирования, этот цикл разобран в статье бюджет токенов агента. Здесь речь о промптах приложений: чат-ботах, классификаторах и задачах извлечения данных.

Как мы измеряли?

Все подсчёты ниже — наши, сделаны 15 ноября 2026 г.:

  • Токенизаторы. Официальные файлы tokenizer.json для DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B и Gemma 4 26B A4B от Google, каждый на зафиксированной ревизии Hugging Face (см. «Источники»), загруженные через Hugging Face tokenizers 0.23.3. Плюс o200k_base из tiktoken 0.14.0 для сравнения с моделями GPT. Специальные токены не добавлялись.
  • Отрендеренные промпты. Для DeepSeek, GLM и Qwen мы также отрендерили полные запросы через опубликованный chat_template.jinja каждой модели (песочница Jinja2) — с системным промптом, инструментами, историей и вопросом — и посчитали результат. Это близко к тому, что токенизирует сервер, но провайдер может использовать другой шаблон, поэтому последнее слово за usage.prompt_tokens от API.
  • Текст. Синтетический бот поддержки вымышленного телеком-оператора: системный промпт из 261 слова, 10 инструментов, 8 few-shot примеров, 40 строк заказов, история из 20 реплик и арабский абзац из 31 слова. Один промпт — одна точка данных. Ваша экономия будет другой; метод переносится.

Gemma 4 VL 26B от BroadNet основана на модели Google, поэтому её подсчёт — оценка. Остальные используют собственные файлы моделей.

Какие сокращения экономят больше всего токенов?

Сырой текст, до → после, с долей экономии:

Изменение DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Системный промпт: 261 слово → 66 слов 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 примеров → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 строк: JSON с отступами → минифицированный JSON 2446 → 1606 (34%) 2460 → 1581 (36%) 3180 → 1980 (38%) 3210 → 2010 (37%) 2446 → 1567 (36%)
40 строк: минифицированный JSON → CSV 1606 → 948 (41%) 1581 → 960 (39%) 1980 → 1359 (31%) 2010 → 1382 (31%) 1567 → 946 (40%)
10 инструментов: многословные → короткие описания 1224 → 806 (34%) 1214 → 797 (34%) 1225 → 806 (34%) 1252 → 827 (34%) 1202 → 796 (34%)
10 многословных инструментов → 3 коротких 1224 → 258 (79%) 1214 → 257 (79%) 1225 → 266 (78%) 1252 → 276 (78%) 1202 → 255 (79%)
Арабский абзац: полная огласовка → без огласовки 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Для английской прозы проценты у разных токенизаторов близки, так что сокращение, которое помогает на одной модели, помогает и на остальных. Две строки нарушают эту закономерность. Данные заказов обошлись Qwen и Gemma на 23–46% дороже по токенам, чем DeepSeek и GLM, в любом формате, потому что их токенизаторы разбивают числа на отдельные цифры: 100200 — это 6 токенов у Qwen и 2 у DeepSeek. А арабская огласовка бьёт по одним токенизаторам гораздо сильнее, чем по другим.

Как выглядит запрос целиком?

Сырой текст не учитывает шаблон чата. Полный промпт, отрендеренный через собственный шаблон каждой модели, с одним и тем же вопросом клиента:

Запрос DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Многословный системный промпт + 10 многословных инструментов 1677 1535 1797
B. Сокращённый системный промпт + 10 коротких инструментов 1052 913 1176
C. Сокращённый системный промпт + 3 коротких инструмента 574 443 636
D. Сокращённый системный промпт, без инструментов 136 121 174
C + 20 предыдущих реплик целиком 2374 2243 2693
C + сводка из 3 строк + последние 4 реплики 979 849 1103

Переход от A к C сократил каждый запрос примерно на 65–71% (64,6% на Qwen, 71,1% на GLM). Большая часть пришлась на инструменты. В рендере с многословным системным промптом 10 многословных инструментов добавили 1334 токена на DeepSeek, 1209 на GLM и 1421 на Qwen; 3 коротких инструмента в C добавили 322–462 токена сверх D. Схемы для вызова инструментов едут в каждом запросе, использует их модель или нет.

На больших объёмах это складывается. На Qwen3.8 27B переход от A к C экономит 1161 токен на запрос. При 100 000 запросов в месяц это около 116 млн входных токенов, или 116 × $0.175 в месяц по стандартной цене входа.

Как сократить системный промпт и ничего не сломать?

Наш промпт из 261 слова и промпт из 66 слов содержат одни и те же семь правил. Все сокращения были одного типа:

  1. Уберите вежливость по отношению к модели. Фраза “It is very important that you always remain polite and courteous at all times” (перевод: «Очень важно, чтобы вы всегда и во всём оставались вежливы и учтивы») исчезла целиком: это следует из строки с ролью.
  2. Одно правило — одна строка. Пункты списка вместо предложений вида “Please make sure that you always…” (перевод: «Пожалуйста, всегда следите за тем, чтобы…»).
  3. Объедините дубли. Три предложения о языке превратились в “Reply in the customer’s language (Arabic or English), briefly.” (перевод: «Отвечай кратко на языке клиента (арабском или английском)».)
  4. Удалите пересказ поведения по умолчанию. “Remember to always be helpful!” (перевод: «Не забывай всегда быть полезным!») ничего не меняет.

Затем протестируйте. Короткий промпт, потерявший правило, обходится дороже, чем экономит. Прогоните обе версии на одних и тех же 50–100 реальных входах и сравните, как в статье оценка LLM перед переходом.

Сколько few-shot примеров нужно?

Меньше, чем в большинстве промптов. Каждый few-shot пример оплачивается при каждом вызове. Оставляйте те, что исправляют ошибку, которую модель без них совершает, — например, пример на диалекте для арабского классификатора, — и убирайте те, с которыми она и так справляется. Наше сокращение с 8 до 3 сэкономило 54–56% блока примеров. Хватит ли трёх для вашей задачи — вопрос точности, а не токенов, поэтому проверьте это на своём тестовом наборе.

Стоит ли по-другому передавать инструменты, данные и историю?

Инструменты. Отправляйте только те инструменты, которые можно использовать на текущем шаге. Вопросу о счёте нужны get_account, get_bill и create_ticket, а не order_esim. Сокращайте описания до того, что нужно модели, чтобы выбрать инструмент и заполнить его. Отступы здесь не важны: все отрендеренные нами шаблоны заново сериализуют массив tools через tojson, поэтому отформатированный массив инструментов стоит столько же, сколько минифицированный.

Данные в сообщениях. Данные, которые вы вставляете в сообщение, отправляются как есть. Как минимум минифицируйте JSON. Для плоских записей CSV или TSV убирают повторяющиеся ключи: в нашем тесте на 31–41% меньше токенов, чем минифицированный JSON. Вложенные данные оставляйте в JSON. Проверьте, что модель по-прежнему правильно читает столбцы.

История. Каждая прошлая реплика отправляется заново. Замена 16 старых реплик сводкой из трёх строк при сохранении последних четырёх дословно сократила промпт Qwen с 2693 до 1103 токенов. Сводка теряет детали, к которым пользователь может вернуться, а её переписывание меняет префикс, что ломает кэширование. Когда сжимать контекст, разобрано в статье управление контекстом долгоживущих агентов.

Арабская огласовка. Большая часть арабских текстов пишется без кратких гласных. Если ваш вход с полной огласовкой — из словаря, учебника или религиозного источника, — удаление этих знаков (U+064B–U+0652) сократило наш абзац на 59–72%. Сохраняйте их, если от них зависит задача, например обучение или поэзия. Какие ещё символы стоит нормализовать, рассказано в статье нормализация арабского текста, а о разрыве с английским в целом — в статье токены на слово в арабском.

Какое место здесь занимает кэширование?

Кэширование не уменьшает промпт. Оно удешевляет повторяющуюся часть. В руководстве OpenAI по кэшированию сказано, что должен совпадать “the entire rendered prefix” (перевод: «весь отрендеренный префикс»), и рекомендуется ставить стабильные инструкции в начало. Страница цен BroadNet описывает вход из кэша как “usually the repeated start of recent requests, such as a long system prompt” (перевод: «обычно повторяющееся начало недавних запросов, например длинный системный промпт»), который не нужно настраивать, а документация сообщает о попаданиях в usage.prompt_tokens_details.cached_tokens.

Поэтому порядок такой: сначала сократить, затем сделать сокращённый префикс стабильным. Системный промпт и инструменты — первыми, побайтово одинаковыми в каждом вызове; затем история, только с дописыванием; новое сообщение — последним. На Qwen3.8 27B вход из кэша стоит $0.0435 за 1 млн против $0.175. Схема и тест, доказывающий повторное использование префикса, — в статье структура промпта для кэширования. Токены из кэша всё равно занимают контекстное окно.

Как измерить собственный промпт?

Начните со счёта. В течение дня логируйте usage.prompt_tokens по каждому месту вызова и найдите самое крупное. Затем сравнивайте версии локально этим скриптом, который выводит число токенов до и после для двух файлов:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

На наших двух системных промптах он вывел:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Добавьте репозитории остальных моделей из списка источников, чтобы сравнить все четыре. Для быстрой проверки в браузере сравнение токенов промпта показывает две версии рядом, а счётчик токенов считает одну. После деплоя подтвердите экономию по usage.prompt_tokens, который учитывает шаблон.

Какое место здесь занимает BroadNet Inference

BroadRouter — сайт BroadNet. BroadNet Inference оплачивает токены промпта по цене входа каждой модели и читает повторяющиеся префиксы из кэша по цене входа из кэша, если она у модели есть, так что счёт снижают и короткие промпты, и стабильные префиксы. У Gemma 4 VL 26B контекст 32 768 токенов, и там сокращение важно не только для стоимости, но и чтобы всё поместилось. На тарифах DeepSeek V4.1 Flash счётчика токенов нет, но контекст в 1 048 576 токенов всё равно действует, а короткий промпт всё равно возвращает ответ быстрее. Промпты не хранятся после выполнения запроса.

Вопросы и ответы

Как уменьшить количество токенов в промпте?

Сначала измерьте: логируйте usage.prompt_tokens и найдите самую большую часть. Затем, в порядке убывания измеренной экономии: отправляйте только нужные на шаге инструменты, сокращайте формулировки инструментов и системного промпта, передавайте таблицы в CSV, а не в JSON, оставляйте только те few-shot примеры, которые меняют результат, и сводите старые реплики чата в краткое изложение.

Отформатированный JSON занимает больше токенов?

Да. В нашем тесте минификация 40 строк JSON с отступами сэкономила 34–38% токенов в зависимости от токенизатора, а передача тех же строк в CSV — 57–61%. Иначе говоря, JSON с отступами занял на 52–61% больше токенов, чем минифицированный, и на 132–159% больше, чем CSV. Схемы инструментов — исключение: шаблоны чата сериализуют их заново, поэтому отступы в массиве tools до модели не доходят.

Сколько токенов занимают описания инструментов?

Зависит от формулировок и шаблона модели. Наши 10 инструментов с многословными описаниями добавили около 1200–1400 токенов к отрендеренному промпту на DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B. Три инструмента с короткими описаниями добавили около 320–460.

Увеличивает ли арабская огласовка число токенов?

Сильно. Абзац на современном литературном арабском из 31 слова занял 62–78 токенов без огласовки и 151–267 токенов с полной огласовкой на пяти токенизаторах. Большая часть арабских текстов пишется без неё, поэтому удаляйте её из входа, если задача (например, поэзия или обучение) её не требует.

Что лучше — кэширование промптов или сокращение промпта?

Они работают вместе. Кэширование удешевляет повторяющийся префикс, но он всё равно занимает контекстное окно и всё равно стоит денег. Сначала сократите, а затем держите сокращённый префикс побайтово одинаковым в начале каждого запроса, чтобы он читался из кэша.

Почему мой подсчёт токенов не совпадает с prompt_tokens от API?

API считает отрендеренный промпт: ваши сообщения, обёрнутые в шаблон чата, плюс схемы инструментов в собственном формате шаблона. Токенизатор, запущенный на сыром тексте, этого не учитывает. Используйте токенизатор для сравнения версий, а usage.prompt_tokens — для счёта.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity

Источники