Если вы строите арабский продукт на LLM API, счёт считается в токенах, а не в словах. И одно и то же сообщение, написанное по-арабски, часто превращается в большее число токенов, чем его английский перевод. Это влияет на стоимость, лимиты контекста и задержку. В этой статье — почему так происходит, почему «токены на слово» — обманчивая цифра и как измерить реальное соотношение для своего контента на той модели, которую вы используете.
Насколько больше токенов нужно арабскому? Измеренные цифры
Мы измерили это с реальным токенизатором каждой модели на параллельных текстах (один и тот же смысл на английском и арабском). Полная таблица, 95-процентные интервалы и методика — в бесплатном датасете об эффективности токенизаторов (CSV и JSON, CC BY 4.0, версия 4, измерено 2026-11-15):
| Токенизатор | Арабский ÷ английский, литературный (2,009 предложений FLORES-200) | Арабский ÷ английский, диалект Залива (49 предложений Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
Английская проза (Википедия и Project Gutenberg) на этих пяти токенизаторах заняла примерно от 127 до 132 токенов на 100 слов. Соотношения для современного литературного арабского получены на одних и тех же 2,009 предложениях FLORES-200 на обоих языках (формальные новости, тексты о путешествиях и энциклопедические тексты из англоязычных статей Викимедиа, переведённые профессионалами). Арабского Залива в FLORES-200 нет, поэтому столбец для Залива построен на 49 коротких парах предложений из Tatoeba и гораздо менее точен; на странице датасета для каждой цифры указан интервал. Ничто из этого не ваш трафик, поэтому используйте соотношения для планирования, а перед составлением бюджета измерьте свой контент. Счётчик арабских токенов считает вставленный текст на каждом токенизаторе, а токены в слова переводит в обе стороны.
Чтобы перевести эти соотношения в деньги, наш датасет реальная стоимость по языкам оценивает 1 млн символов каждого языка на каждой модели, которую удалось сопоставить с измеренным токенизатором, у разных провайдеров. Более низкая цена за токен не всегда означает более низкий счёт за арабский.
Что делает токенизатор?
Прежде чем модель увидит текст, токенизатор делит его на токены из фиксированного словаря. Большинство современных токенизаторов используют подсловные методы, такие как byte-pair encoding (BPE), WordPiece или SentencePiece; они описаны в обзоре токенизаторов Hugging Face. Частые строки из обучающих данных становятся отдельными токенами; редкие разбиваются на более мелкие части, при необходимости вплоть до отдельных байтов.
Словарь выучивается на обучающем корпусе. Языки, которые в нём преобладают, получают самое эффективное кодирование. У каждого семейства моделей свой токенизатор, поэтому модели DeepSeek, Qwen, GLM и Gemma могут разбить одно и то же арабское предложение на совершенно разное число токенов.
Почему арабский часто требует больше токенов?
1. Дисбаланс обучающих данных
Многие токенизаторы обучались на текстах, где английский сильно перепредставлен. Распространённые английские слова становятся одним токеном; многие распространённые арабские слова делятся на несколько частей. Petrov et al. (2023) измерили это на множестве токенизаторов и языков и обнаружили большие различия в том, сколько токенов требуется одному и тому же контенту, причём английский обычно среди самых дешёвых. Ahia et al. (2023) пришли к похожему выводу для коммерческих API и отметили прямое влияние на то, сколько платят носители разных языков.
2. Арабская морфология
Арабский присоединяет союзы, предлоги, артикль и местоимения прямо к словам. Одно написанное слово может нести то, что английский распределяет на несколько:
| Арабский | Примерно по-английски |
|---|---|
| وسيكتبونها | and they will write it (и они напишут это) |
| بالمدرسة | in the school (в школе) |
| فقلنا | so we said (и мы сказали) |
Токенизатор, который недостаточно часто видел конкретное сочетание, разбивает его на части. Это увеличивает число токенов на слово, даже когда число токенов на смысл вполне разумно.
3. Особенности письма
Огласовки (ташкиль), татвиль (символ растяжки), разные формы алифа и хамзы и арабско-индийские цифры — всё это дополнительные символы или варианты, которые токенизатор должен закодировать. Смешанный арабский и латинский текст, а также арабизи (арабский, записанный латиницей с цифрами) тоже могут делиться неожиданным образом. См. как LLM справляются с арабизи.
Почему токены на слово — неправильная метрика?
Поскольку одно арабское слово часто равно нескольким английским, утверждения «арабский тратит N токенов на слово» и «английский тратит M токенов на слово» несопоставимы. Справедливее спросить: сколько токенов требует один и тот же контент на каждом языке? Возьмите параллельный текст — одно и то же сообщение на обоих языках — и сравните общее число токенов. Именно это соотношение меняет ваш счёт.
Часто цитируемое эмпирическое правило OpenAI — примерно четыре символа или три четверти слова на токен — дано для английского на собственных токенизаторах OpenAI. На арабский и на другие семейства моделей оно не переносится, поэтому не используйте его для арабских бюджетов.
Как измерить своё соотношение?
Поле usage — истина в последней инстанции: именно по нему вам выставляют счёт. Этот скрипт отправляет модели параллельные тексты и читает usage.prompt_tokens. Он вычитает базовую линию, чтобы фиксированные накладные расходы шаблона чата не искажали короткие тексты. В нём используется Gemma 4 VL 26B, которая работает на бесплатном стартовом гранте и не рассуждает; подставьте ту модель, которую будете использовать на самом деле.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Чтобы получить цифру, которой можно доверять:
- Возьмите 50–200 реальных пар из своей предметной области: сообщения поддержки, описания товаров, счета. Короткие демонстрационные предложения дают шумный результат.
- Используйте диалект, на котором пишут ваши пользователи. Тексты на диалектах Залива, египетском и левантийском могут токенизироваться иначе, чем современный литературный арабский.
- Запускайте для каждой модели. Соотношение, измеренное на одной модели, мало что говорит о другой. Если выбираете между моделями, прогоните одни и те же пары на каждой; о качестве, которое важно не меньше числа токенов, рассказывает статья как выбрать LLM для арабского.
- Измеряйте и выход. Попросите каждую модель ответить на арабском и на английском и сравните
completion_tokens. На любой модели выходной токен стоит дороже входного, поэтому соотношение на выходе может быть важнее.
Если токенизатор модели опубликован (например, на Hugging Face), токены можно посчитать и офлайн с его помощью. Но последнее слово всё равно за полем usage в API, потому что оно учитывает шаблон чата, который применяет сервер.
Как читать результаты
Получив соотношение для каждой модели, вы обычно увидите один из трёх вариантов:
- Около 1. Токенизатор хорошо справляется с вашим арабским. Арабский и английский трафик для одного и того же контента стоят примерно одинаково.
- Заметно выше 1. Арабское сообщение стоит дороже. Заложите это в прогнозы и в лимиты контекста и подумайте, не справляется ли другая модель с вашим арабским эффективнее при сходном качестве.
- Сильный разброс между образцами. Обычно это признак смешанного контента: текста с огласовками, арабизи, чисел, URL или кода внутри арабских сообщений. Разделите образцы по типам и измерьте каждый отдельно.
Сохраните скрипт и запускайте его снова при смене модели или когда провайдер обновляет версию модели: новый токенизатор меняет все подсчёты.
Что это значит для стоимости и контекста?
Стоимость растёт вместе с числом токенов, поэтому более высокое соотношение для арабского увеличивает счёт за арабскую часть трафика во столько же раз. По ценам BroadNet арабский вход на Qwen3.8 27B стоит $0.175 за 1 млн токенов, а выход — $2.17; на Gemma 4 VL 26B — $0.10 и $0.22. Цена за токен одинакова для любого языка; меняется только число токенов. Подставьте измеренное соотношение в методику расчёта месячной стоимости.
Лимиты контекста сокращаются точно так же. Gemma 4 VL 26B принимает 32 768 токенов на запрос; длинный арабский документ заполнит их быстрее, чем его английский перевод. DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576.
Как уменьшить число токенов в арабском тексте?
- Нормализуйте единообразно. Удаляйте татвиль и снимайте огласовки, если они не нужны задаче. Применяйте одну и ту же нормализацию к каждому запросу, чтобы кэширование продолжало работать.
- Пишите инструкции коротко. Длинный системный промпт отправляется заново на каждом ходе; сжатые формулировки экономят токены на обоих языках.
- Кэшируйте стабильный префикс. На моделях с ценой для кэша повторяющиеся системные промпты и документы стоят гораздо меньше. Как работает кэширование.
- Просите краткие ответы. «Ответь в двух предложениях» экономит больше, чем любой трюк с токенизатором.
Арабская речь, в отличие от текста, при транскрибации оплачивается за минуту аудио, а не за токены, поэтому токенизация на эту часть счёта не влияет; см. статью о распознавании арабской речи.
