---
title: "Токены на слово в арабском и английском: как измерить"
description: "Почему для того же смысла арабский часто требует больше токенов LLM, чем английский, почему «токены на слово» вводят в заблуждение и скрипт для замера по usage."
url: https://broadrouter.com/ru/blog/tokens-per-word-arabic-english/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (обновлён 2026-11-16).

# Токены на слово: арабский и английский — почему арабский дороже

Команда BroadNet Inference · 6 мин чтения · Опубликовано 2026-11-14 · Обновлено 2026-11-16

Единой цифры нет: всё зависит от токенизатора модели. В измеренном датасете BroadRouter одному и тому же тексту на современном литературном арабском нужно от 1.31× (Qwen3.8 27B) до 1.77× (GLM 5.3) от числа токенов его английского перевода, а 1 000 слов английской прозы — это в среднем около 1,290 токенов. Своё соотношение измеряйте по usage.prompt\_tokens.

## Главное

-   Число токенов на слово — свойство токенизатора конкретной модели, а не только языка.
-   Исследования многих токенизаторов показывают, что один и тот же контент на арабском часто стоит больше токенов, чем на английском.
-   Сравнивайте параллельные тексты (один и тот же смысл на обоих языках), а не токены на слово: одно арабское слово может нести несколько английских.
-   Измеряйте через usage.prompt\_tokens на той модели, которую будете использовать, вычитая базовую линию накладных расходов сообщения.
-   Огласовки, татвиль и смешение письменностей меняют подсчёт; нормализуйте вход единообразно.

**На этой странице**

1.  Насколько больше токенов нужно арабскому? Измеренные цифры
2.  Что делает токенизатор?
3.  Почему арабский часто требует больше токенов?
4.  Почему токены на слово — неправильная метрика?
5.  Как измерить своё соотношение?
6.  Что это значит для стоимости и контекста?
7.  Как уменьшить число токенов в арабском тексте?

Если вы строите арабский продукт на LLM API, счёт считается в токенах, а не в словах. И одно и то же сообщение, написанное по-арабски, часто превращается в большее число токенов, чем его английский перевод. Это влияет на стоимость, лимиты контекста и задержку. В этой статье — почему так происходит, почему «токены на слово» — обманчивая цифра и как измерить реальное соотношение для своего контента на той модели, которую вы используете.

## Насколько больше токенов нужно арабскому? Измеренные цифры

Мы измерили это с реальным токенизатором каждой модели на параллельных текстах (один и тот же смысл на английском и арабском). Полная таблица, 95-процентные интервалы и методика — в бесплатном [датасете об эффективности токенизаторов](https://broadrouter.com/data/tokenizer-efficiency/) (CSV и JSON, CC BY 4.0, версия 4, измерено 2026-11-15):

| Токенизатор | Арабский ÷ английский, литературный (2,009 предложений FLORES-200) | Арабский ÷ английский, диалект Залива (49 предложений Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

Английская проза (Википедия и Project Gutenberg) на этих пяти токенизаторах заняла примерно от 127 до 132 токенов на 100 слов. Соотношения для современного литературного арабского получены на одних и тех же 2,009 предложениях FLORES-200 на обоих языках (формальные новости, тексты о путешествиях и энциклопедические тексты из англоязычных статей Викимедиа, переведённые профессионалами). Арабского Залива в FLORES-200 нет, поэтому столбец для Залива построен на 49 коротких парах предложений из Tatoeba и гораздо менее точен; на странице датасета для каждой цифры указан интервал. Ничто из этого не ваш трафик, поэтому используйте соотношения для планирования, а перед составлением бюджета измерьте свой контент. [Счётчик арабских токенов](https://broadrouter.com/tools/arabic-token-counter/) считает вставленный текст на каждом токенизаторе, а [токены в слова](https://broadrouter.com/tools/tokens-to-words/) переводит в обе стороны.

Чтобы перевести эти соотношения в деньги, наш датасет [реальная стоимость по языкам](https://broadrouter.com/data/real-cost-by-language/) оценивает 1 млн символов каждого языка на каждой модели, которую удалось сопоставить с измеренным токенизатором, у разных провайдеров. Более низкая цена за токен не всегда означает более низкий счёт за арабский.

## Что делает токенизатор?

Прежде чем модель увидит текст, токенизатор делит его на токены из фиксированного словаря. Большинство современных токенизаторов используют подсловные методы, такие как byte-pair encoding (BPE), WordPiece или SentencePiece; они описаны в [обзоре токенизаторов](https://huggingface.co/docs/transformers/tokenizer_summary) Hugging Face. Частые строки из обучающих данных становятся отдельными токенами; редкие разбиваются на более мелкие части, при необходимости вплоть до отдельных байтов.

Словарь выучивается на обучающем корпусе. Языки, которые в нём преобладают, получают самое эффективное кодирование. У каждого семейства моделей свой токенизатор, поэтому модели DeepSeek, Qwen, GLM и Gemma могут разбить одно и то же арабское предложение на совершенно разное число токенов.

## Почему арабский часто требует больше токенов?

### 1\. Дисбаланс обучающих данных

Многие токенизаторы обучались на текстах, где английский сильно перепредставлен. Распространённые английские слова становятся одним токеном; многие распространённые арабские слова делятся на несколько частей. Petrov et al. (2023) измерили это на множестве токенизаторов и языков и обнаружили большие различия в том, сколько токенов требуется одному и тому же контенту, причём английский обычно среди самых дешёвых. Ahia et al. (2023) пришли к похожему выводу для коммерческих API и отметили прямое влияние на то, сколько платят носители разных языков.

### 2\. Арабская морфология

Арабский присоединяет союзы, предлоги, артикль и местоимения прямо к словам. Одно написанное слово может нести то, что английский распределяет на несколько:

| Арабский | Примерно по-английски |
| --- | --- |
| وسيكتبونها | and they will write it (и они напишут это) |
| بالمدرسة | in the school (в школе) |
| فقلنا | so we said (и мы сказали) |

Токенизатор, который недостаточно часто видел конкретное сочетание, разбивает его на части. Это увеличивает число токенов на **слово**, даже когда число токенов на **смысл** вполне разумно.

### 3\. Особенности письма

Огласовки (ташкиль), татвиль (символ растяжки), разные формы алифа и хамзы и арабско-индийские цифры — всё это дополнительные символы или варианты, которые токенизатор должен закодировать. Смешанный арабский и латинский текст, а также арабизи (арабский, записанный латиницей с цифрами) тоже могут делиться неожиданным образом. См. [как LLM справляются с арабизи](https://broadrouter.com/ru/blog/arabizi-llm-handling/).

## Почему токены на слово — неправильная метрика?

Поскольку одно арабское слово часто равно нескольким английским, утверждения «арабский тратит N токенов на слово» и «английский тратит M токенов на слово» несопоставимы. Справедливее спросить: **сколько токенов требует один и тот же контент на каждом языке?** Возьмите параллельный текст — одно и то же сообщение на обоих языках — и сравните общее число токенов. Именно это соотношение меняет ваш счёт.

Часто цитируемое эмпирическое правило OpenAI — примерно четыре символа или три четверти слова на токен — дано для английского на собственных токенизаторах OpenAI. На арабский и на другие семейства моделей оно не переносится, поэтому не используйте его для арабских бюджетов.

## Как измерить своё соотношение?

Поле usage — истина в последней инстанции: именно по нему вам выставляют счёт. Этот скрипт отправляет модели параллельные тексты и читает `usage.prompt_tokens`. Он вычитает базовую линию, чтобы фиксированные накладные расходы шаблона чата не искажали короткие тексты. В нём используется [Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/), которая работает на бесплатном стартовом гранте и не рассуждает; подставьте ту модель, которую будете использовать на самом деле.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Чтобы получить цифру, которой можно доверять:

1.  **Возьмите 50–200 реальных пар** из своей предметной области: сообщения поддержки, описания товаров, счета. Короткие демонстрационные предложения дают шумный результат.
2.  **Используйте диалект, на котором пишут ваши пользователи.** Тексты на диалектах Залива, египетском и левантийском могут токенизироваться иначе, чем современный литературный арабский.
3.  **Запускайте для каждой модели.** Соотношение, измеренное на одной модели, мало что говорит о другой. Если выбираете между моделями, прогоните одни и те же пары на каждой; о качестве, которое важно не меньше числа токенов, рассказывает статья [как выбрать LLM для арабского](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/).
4.  **Измеряйте и выход.** Попросите каждую модель ответить на арабском и на английском и сравните `completion_tokens`. На любой модели выходной токен стоит дороже входного, поэтому соотношение на выходе может быть важнее.

Если токенизатор модели опубликован (например, на Hugging Face), токены можно посчитать и офлайн с его помощью. Но последнее слово всё равно за полем usage в API, потому что оно учитывает шаблон чата, который применяет сервер.

### Как читать результаты

Получив соотношение для каждой модели, вы обычно увидите один из трёх вариантов:

-   **Около 1.** Токенизатор хорошо справляется с вашим арабским. Арабский и английский трафик для одного и того же контента стоят примерно одинаково.
-   **Заметно выше 1.** Арабское сообщение стоит дороже. Заложите это в прогнозы и в лимиты контекста и подумайте, не справляется ли другая модель с вашим арабским эффективнее при сходном качестве.
-   **Сильный разброс между образцами.** Обычно это признак смешанного контента: текста с огласовками, арабизи, чисел, URL или кода внутри арабских сообщений. Разделите образцы по типам и измерьте каждый отдельно.

Сохраните скрипт и запускайте его снова при смене модели или когда провайдер обновляет версию модели: новый токенизатор меняет все подсчёты.

## Что это значит для стоимости и контекста?

Стоимость растёт вместе с числом токенов, поэтому более высокое соотношение для арабского увеличивает счёт за арабскую часть трафика во столько же раз. По ценам BroadNet арабский вход на [Qwen3.8 27B](https://broadrouter.com/ru/models/qwen3.8-27b/) стоит $0.175 за 1 млн токенов, а выход — $2.17; на Gemma 4 VL 26B — $0.10 и $0.22. Цена за токен одинакова для любого языка; меняется только число токенов. Подставьте измеренное соотношение в [методику расчёта месячной стоимости](https://broadrouter.com/ru/blog/estimate-llm-api-cost-before-launch/).

Лимиты контекста сокращаются точно так же. Gemma 4 VL 26B принимает 32 768 токенов на запрос; длинный арабский документ заполнит их быстрее, чем его английский перевод. DeepSeek V4.1 Flash и GLM 5.3 принимают 1 048 576.

## Как уменьшить число токенов в арабском тексте?

-   **Нормализуйте единообразно.** Удаляйте татвиль и снимайте огласовки, если они не нужны задаче. Применяйте одну и ту же нормализацию к каждому запросу, чтобы кэширование продолжало работать.
-   **Пишите инструкции коротко.** Длинный системный промпт отправляется заново на каждом ходе; сжатые формулировки экономят токены на обоих языках.
-   **Кэшируйте стабильный префикс.** На моделях с ценой для кэша повторяющиеся системные промпты и документы стоят гораздо меньше. [Как работает кэширование](https://broadrouter.com/ru/blog/cached-input-tokens-explained/).
-   **Просите краткие ответы.** «Ответь в двух предложениях» экономит больше, чем любой трюк с токенизатором.

Арабская речь, в отличие от текста, при транскрибации оплачивается за минуту аудио, а не за токены, поэтому токенизация на эту часть счёта не влияет; см. [статью о распознавании арабской речи](https://broadrouter.com/ru/blog/arabic-speech-to-text-api-buyers-guide/).

Бесплатные инструменты по теме (на английском)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Токенизатор (tokenizer)](https://broadrouter.com/ru/glossary/tokenizer/)

Токенизатор — это компонент, который преобразует текст в последовательность целочисленных ID токенов, которую читает языковая модель, и превращает сгенерированные ID обратно в текст. У каждой модели свой токенизатор, поэтому один и тот же текст может дать разное число токенов на разных моделях.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

[Арабизи (Arabizi)](https://broadrouter.com/ru/glossary/arabizi/)

Арабизи — это неформальная запись арабского латинскими буквами, где арабские звуки без латинского аналога передаются цифрами, например 3 вместо ع. Он распространён в чатах и соцсетях, в основном диалектный, не имеет стандартной орфографии и часто перемешан с английским или французским.

[Арабские огласовки (ташкиль, tashkeel)](https://broadrouter.com/ru/glossary/arabic-diacritics/)

Арабские огласовки, или ташкиль, — это небольшие знаки над буквами или под ними, которые обозначают краткие гласные, удвоенные согласные и отсутствие гласного. Они необязательны: в большинстве арабских текстов, включая новости, их нет, и читатель или программа восстанавливает гласные по контексту.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Кодирование пар байтов (byte pair encoding, BPE)](https://broadrouter.com/ru/glossary/bpe/)

Кодирование пар байтов (BPE) — это алгоритм подсловной токенизации, который начинает с отдельных символов или байтов и раз за разом объединяет самую частую соседнюю пару в новую запись словаря, пока не достигнет заданного размера словаря. Большинство современных токенизаторов LLM используют BPE или его байтовый вариант.

[Нормализация арабского текста (Arabic text normalization)](https://broadrouter.com/ru/glossary/arabic-text-normalization/)

Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.

[Современный стандартный арабский (MSA, фусха)](https://broadrouter.com/ru/glossary/msa/)

Современный стандартный арабский (MSA) — это стандартизированная форма арабского языка для письма, новостей, образования и официальной речи во всём арабском мире. Ни для кого он не родной повседневный язык: люди говорят на региональных диалектах, например египетском или заливском, и переходят на MSA в официальной обстановке.

## Вопросы и ответы

### Сколько токенов в одном арабском слове?

Зависит от модели. В датасете токенизаторов BroadRouter современный литературный арабский занял от 183.0 (Qwen3.8 27B) до 243.9 (GLM 5.3) токенов на 100 слов на пяти токенизаторах. Сравнивайте параллельные тексты, а не отдельные слова, и измеряйте на той модели, которую используете.

### Сколько токенов в 1 000 английских слов?

Около 1,269–1,320 токенов обычной английской прозы на пяти токенизаторах измеренного датасета BroadRouter (в среднем 1,290). Технический текст, код и другие языки требуют больше, поэтому считайте свой текст.

### Уменьшает ли удаление огласовок число токенов?

Обычно да: огласовки — дополнительные символы, которые токенизатор должен закодировать. Удаляйте их, только если они не нужны задаче; для Корана, поэзии или произношения они несут смысл.

### Работает ли правило «4 символа на токен» для арабского?

Нет. OpenAI приводит это эмпирическое правило для английского текста на своих токенизаторах. На арабский и на токенизаторы других моделей оно не переносится.

### Стоит ли арабский токен дороже?

Нет. Токен стоит одинаково, какой бы язык он ни кодировал. Арабский дороже только тогда, когда тот же контент делится на большее число токенов.

## Читайте также

-   [Как выбрать LLM API для арабского: что проверить](https://broadrouter.com/ru/blog/choosing-an-llm-for-arabic/)
-   [Цены на LLM API: вход, кэш, выход и токены рассуждений](https://broadrouter.com/ru/blog/llm-api-pricing-explained/)
-   [Промпт-инжиниринг для арабского: регистр, RTL, цифры и смешанный текст](https://broadrouter.com/ru/blog/arabic-prompt-engineering/)
-   [Арабизи и LLM: как работать с франко-арабским и цифрами 3 и 7](https://broadrouter.com/ru/blog/arabizi-llm-handling/)
-   [Огласовки в арабском тексте через LLM: промпт, проверка, DER](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)
-   [Цены на LLM API в октябре 2026: 3 повышения и ни одного снижения](https://broadrouter.com/ru/blog/llm-api-price-changes-october-2026/)
-   [Как часто меняются цены на LLM API? 3 года архивных страниц цен](https://broadrouter.com/ru/blog/how-often-llm-api-prices-change/)
-   [Руководство: OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Источники**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, проверено 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, проверено 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, алгоритмы токенизации (проверено 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Справочный центр OpenAI: что такое токены и как их считать](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Датасет BroadRouter об эффективности токенизаторов, версия 4 (измерено 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Бенчмарк FLORES-200 (Meta, CC BY-SA 4.0) — параллельные предложения, на которых построены соотношения для MSA (зафиксированный коммит, проверено 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Справочник BroadNet Inference API, поля usage (проверено 2026-11-16) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-tokens-per-word-arabic-english&utm_content=sources)
