---
title: "Tokens par mot : arabe ou anglais, et comment mesurer"
description: "Pourquoi l’arabe prend souvent plus de tokens que l’anglais pour un même sens, pourquoi les tokens par mot trompent, et un script qui mesure votre ratio via usage."
url: https://broadrouter.com/fr/blog/tokens-per-word-arabic-english/
lang: fr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (mis à jour le 2026-11-16).

# Tokens par mot, arabe ou anglais : pourquoi l’arabe coûte plus cher

Par l’équipe BroadNet Inference · 6 min de lecture · Publié 2026-11-14 · Mis à jour 2026-11-16

Il n’existe pas de chiffre unique : tout dépend du tokenizer de chaque modèle. Dans le jeu de données mesuré par BroadRouter, un même texte en arabe standard moderne demande de 1.31× (Qwen3.8 27B) à 1.77× (GLM 5.3) les tokens de sa traduction anglaise, et 1 000 mots de prose anglaise font environ 1,290 tokens en moyenne. Mesurez votre propre ratio avec usage.prompt\_tokens.

## À retenir

-   Le nombre de tokens par mot dépend du tokenizer de chaque modèle, pas seulement de la langue.
-   Les travaux portant sur de nombreux tokenizers montrent qu’un même contenu coûte souvent plus de tokens en arabe qu’en anglais.
-   Comparez des textes parallèles (le même sens dans les deux langues), pas des tokens par mot : un mot arabe peut porter plusieurs mots anglais.
-   Mesurez avec usage.prompt\_tokens sur le modèle exact que vous utiliserez, en soustrayant une base pour le surcoût fixe du message.
-   Diacritiques, tatweel et écritures mêlées modifient les comptes ; normalisez les entrées de façon cohérente.

**Sur cette page**

1.  Combien de tokens en plus l’arabe demande-t-il ? Chiffres mesurés
2.  Que fait un tokenizer ?
3.  Pourquoi l’arabe consomme-t-il souvent plus de tokens ?
4.  Pourquoi les tokens par mot sont-ils le mauvais indicateur ?
5.  Comment mesurer votre propre ratio ?
6.  Qu’est-ce que cela change pour le coût et le contexte ?
7.  Comment réduire le nombre de tokens en arabe ?

Si vous construisez un produit en arabe sur une API LLM, votre facture se compte en tokens, pas en mots. Et un même message, écrit en arabe, donne souvent plus de tokens que sa traduction anglaise. Cela pèse sur le coût, les limites de contexte et la latence. Cet article explique pourquoi, pourquoi le nombre de « tokens par mot » est trompeur, et comment mesurer le vrai ratio pour vos propres contenus sur le modèle que vous utilisez.

## Combien de tokens en plus l’arabe demande-t-il ? Chiffres mesurés

Nous l’avons mesuré avec le vrai tokenizer de chaque modèle sur des textes parallèles (le même sens en anglais et en arabe). Le tableau complet, les intervalles à 95 % et la méthode figurent dans le [jeu de données sur l’efficacité des tokenizers](https://broadrouter.com/data/tokenizer-efficiency/), gratuit (CSV et JSON, CC BY 4.0, version 4, mesuré le 2026-11-15) :

| Tokenizer | Arabe ÷ anglais, standard moderne (2,009 phrases FLORES-200) | Arabe ÷ anglais, dialecte du Golfe (49 phrases Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

La prose anglaise (Wikipédia et Project Gutenberg) donne environ 127 à 132 tokens pour 100 mots sur les cinq. Les ratios pour l’arabe standard moderne proviennent des mêmes 2,009 phrases FLORES-200 dans les deux langues (textes formels d’actualité, de voyage et d’encyclopédie tirés d’articles Wikimedia en anglais, traduits par des professionnels). FLORES-200 ne contient pas d’arabe du Golfe : la colonne Golfe repose donc sur 49 courtes paires de phrases Tatoeba et elle est bien moins précise ; la page du jeu de données donne un intervalle pour chaque chiffre. Rien de tout cela n’est votre trafic : servez-vous des ratios pour planifier et mesurez vos propres contenus avant de budgéter. Le [compteur de tokens arabe](https://broadrouter.com/tools/arabic-token-counter/) compte un texte collé avec chaque tokenizer, et [tokens en mots](https://broadrouter.com/tools/tokens-to-words/) convertit dans les deux sens.

Pour traduire ces ratios en argent, notre [jeu de données sur le coût réel par langue](https://broadrouter.com/data/real-cost-by-language/) chiffre 1 million de caractères de chaque langue sur chaque modèle que nous avons pu associer à un tokenizer mesuré, chez différents fournisseurs. Un prix par token plus bas ne garantit pas toujours une facture arabe plus basse.

## Que fait un tokenizer ?

Avant qu’un modèle voie un texte, un tokenizer le découpe en tokens tirés d’un vocabulaire fixe. La plupart des tokenizers modernes utilisent des méthodes en sous-mots comme le byte-pair encoding (BPE), WordPiece ou SentencePiece, décrites dans la [présentation des tokenizers](https://huggingface.co/docs/transformers/tokenizer_summary) de Hugging Face. Les chaînes fréquentes dans les données d’entraînement deviennent des tokens uniques ; les chaînes rares sont découpées en morceaux plus petits, jusqu’à l’octet si nécessaire.

Le vocabulaire est appris sur un corpus d’entraînement. Les langues qui dominent ce corpus obtiennent l’encodage le plus efficace. Chaque famille de modèles a son propre tokenizer : les modèles DeepSeek, Qwen, GLM et Gemma peuvent donc découper une même phrase arabe en des nombres de tokens assez différents.

## Pourquoi l’arabe consomme-t-il souvent plus de tokens ?

### 1\. Le déséquilibre des données d’entraînement

Beaucoup de tokenizers ont été entraînés sur des textes où l’anglais est fortement surreprésenté. Les mots anglais courants deviennent un token chacun ; beaucoup de mots arabes courants sont découpés en plusieurs morceaux. Petrov et al. (2023) l’ont mesuré sur de nombreux tokenizers et langues et ont constaté de grandes différences dans le nombre de tokens nécessaires pour un même contenu, l’anglais figurant généralement parmi les moins chers. Ahia et al. (2023) sont arrivés à une conclusion similaire pour les API commerciales et ont souligné l’effet direct sur ce que paient les locuteurs de différentes langues.

### 2\. La morphologie arabe

L’arabe accole directement aux mots les conjonctions, les prépositions, l’article et les pronoms. Un seul mot écrit peut porter ce que l’anglais répartit sur plusieurs :

| Arabe | Équivalent anglais approximatif |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

Un tokenizer qui n’a pas vu une combinaison donnée assez souvent la découpe souvent en morceaux. Cela augmente le nombre de tokens par **mot**, même lorsque le nombre de tokens par **sens** reste raisonnable.

### 3\. Les détails de l’écriture

Les diacritiques (tashkil), le tatweel (le caractère d’allongement), les différentes formes de l’alef et de la hamza et les chiffres arabo-indiens sont autant de caractères ou de variantes supplémentaires à encoder. Un texte mêlant arabe et alphabet latin, ou l’arabizi (l’arabe écrit en lettres latines avec des chiffres), peut aussi se découper de façon inattendue. Voyez [comment les LLM gèrent l’arabizi](https://broadrouter.com/fr/blog/arabizi-llm-handling/).

## Pourquoi les tokens par mot sont-ils le mauvais indicateur ?

Parce qu’un mot arabe équivaut souvent à plusieurs mots anglais, « l’arabe utilise N tokens par mot » et « l’anglais utilise M tokens par mot » ne sont pas comparables. La question juste est : **combien de tokens le même contenu demande-t-il dans chaque langue ?** Utilisez du texte parallèle, le même message écrit dans les deux langues, et comparez le total de tokens. C’est ce ratio qui modifie votre facture.

L’ordre de grandeur souvent cité d’OpenAI, environ quatre caractères ou trois quarts de mot par token, est donné pour l’anglais sur les tokenizers d’OpenAI. Il ne se transpose ni à l’arabe ni aux autres familles de modèles : ne l’utilisez pas pour des budgets en arabe.

## Comment mesurer votre propre ratio ?

Le champ usage fait foi : c’est sur lui que vous êtes facturé. Ce script envoie des textes parallèles à un modèle et lit `usage.prompt_tokens`. Il soustrait une base pour que le surcoût fixe du modèle de chat ne fausse pas les textes courts. Il utilise [Gemma 4 VL 26B](https://broadrouter.com/fr/models/gemma-4-vl-26b/), qui fonctionne avec le crédit de départ gratuit et ne raisonne pas ; remplacez-le par le modèle que vous utiliserez réellement.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Pour obtenir un chiffre fiable :

1.  **Utilisez 50 à 200 paires réelles** issues de votre domaine : messages de support, descriptions de produits, factures. Les phrases de démonstration courtes sont bruitées.
2.  **Utilisez le dialecte qu’écrivent vos utilisateurs.** Un texte du Golfe, égyptien ou levantin peut se tokeniser différemment de l’arabe standard moderne.
3.  **Lancez-le modèle par modèle.** Un ratio mesuré sur un modèle dit peu de chose d’un autre. Si vous hésitez entre plusieurs modèles, faites passer les mêmes paires sur chacun ; [choisir un LLM pour l’arabe](https://broadrouter.com/fr/blog/choosing-an-llm-for-arabic/) traite de la qualité, qui compte autant que le nombre de tokens.
4.  **Mesurez aussi la sortie.** Demandez à chaque modèle de répondre en arabe et en anglais, et comparez `completion_tokens`. La sortie coûte plus cher par token que l’entrée sur tous les modèles : le ratio en sortie peut donc compter davantage.

Si le tokenizer du modèle est publié (par exemple sur Hugging Face), vous pouvez aussi compter les tokens hors ligne avec ce tokenizer. Le champ usage de l’API reste la référence, car il inclut le modèle de chat que le serveur applique.

### Lire les résultats

Une fois un ratio obtenu pour chaque modèle, trois cas de figure sont fréquents :

-   **Proche de 1.** Le tokenizer gère bien votre arabe. Le trafic arabe et anglais coûte à peu près pareil pour le même contenu.
-   **Nettement au-dessus de 1.** L’arabe coûte plus cher par message. Intégrez-le dans vos prévisions et vos limites de contexte, et voyez si un autre modèle traite votre arabe plus efficacement à qualité comparable.
-   **Très variable selon les échantillons.** C’est souvent le signe de contenus mêlés : texte vocalisé, arabizi, nombres, URL ou code dans des messages arabes. Séparez vos échantillons par type et mesurez chacun à part.

Conservez le script et relancez-le quand vous changez de modèle ou qu’un fournisseur met à jour une version de modèle, car un nouveau tokenizer modifie tous les comptes.

## Qu’est-ce que cela change pour le coût et le contexte ?

Le coût suit les tokens : un ratio arabe plus élevé augmente la facture du même facteur pour la part arabe de votre trafic. Aux prix de BroadNet, l’entrée arabe sur [Qwen3.8 27B](https://broadrouter.com/fr/models/qwen3.8-27b/) coûte $0.175 par million de tokens et la sortie $2.17 ; sur Gemma 4 VL 26B, $0.10 et $0.22. Le prix par token est le même dans toutes les langues ; seul le nombre de tokens change. Injectez votre ratio mesuré dans la [méthode d’estimation du coût mensuel](https://broadrouter.com/fr/blog/estimate-llm-api-cost-before-launch/).

Les limites de contexte se réduisent de la même façon. Gemma 4 VL 26B accepte 32 768 tokens par requête ; un long document arabe remplit cette fenêtre plus vite que sa traduction anglaise. DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens.

## Comment réduire le nombre de tokens en arabe ?

-   **Normalisez de façon cohérente.** Retirez le tatweel, et les diacritiques si votre tâche n’en a pas besoin. Appliquez la même normalisation à chaque requête pour que le cache continue de fonctionner.
-   **Gardez des instructions courtes.** Un long prompt système est renvoyé à chaque tour ; une formulation serrée économise des tokens dans les deux langues.
-   **Mettez en cache le préfixe stable.** Sur les modèles qui ont un tarif de cache, les prompts système et documents répétés coûtent bien moins. [Comment fonctionne le cache](https://broadrouter.com/fr/blog/cached-input-tokens-explained/).
-   **Demandez des réponses concises.** « Réponds en deux phrases » économise plus que n’importe quelle astuce de tokenizer.

Pour la parole arabe plutôt que le texte, la transcription est facturée à la minute d’audio, pas au token : la tokenisation n’affecte donc pas cette partie de la facture ; voyez la [page sur le speech-to-text arabe](https://broadrouter.com/fr/blog/arabic-speech-to-text-api-buyers-guide/).

Outils gratuits sur ce sujet (en anglais)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Outils gratuits (en anglais)](https://broadrouter.com/tools/)

## Termes de cet article

[Token](https://broadrouter.com/fr/glossary/token/)

Un token est l’unité de texte qu’un modèle de langage lit et écrit : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets produite par le tokenizer du modèle. Les API LLM comptent, limitent et facturent généralement l’usage en tokens.

[Tokenizer (tokeniseur)](https://broadrouter.com/fr/glossary/tokenizer/)

Un tokenizer est le composant qui convertit un texte en la suite d’ID entiers de tokens que lit un modèle de langage, et reconvertit les ID générés en texte. Chaque modèle a son propre tokenizer : un même texte peut donc produire un nombre de tokens différent selon le modèle.

[Arabizi (franco-arabe)](https://broadrouter.com/fr/glossary/arabizi/)

L’arabizi est de l’arabe écrit de façon informelle en lettres latines, avec des chiffres pour les sons arabes sans équivalent latin, comme 3 pour ع. Courant dans les messageries et sur les réseaux sociaux, il est surtout dialectal, n’a pas d’orthographe standard et se mêle souvent d’anglais ou de français.

[Arabe standard moderne (MSA)](https://broadrouter.com/fr/glossary/msa/)

L’arabe standard moderne (MSA) est la forme standardisée de l’arabe utilisée à l’écrit, dans l’information, l’enseignement et le discours formel dans tout le monde arabe. Ce n’est la langue maternelle de personne : on parle au quotidien des dialectes régionaux, comme l’égyptien ou l’arabe du Golfe, et on passe au MSA dans les contextes formels.

[Appel d’outils (tool calling, function calling)](https://broadrouter.com/fr/glossary/tool-calling/)

L’appel d’outils, aussi appelé function calling, est une fonctionnalité des API LLM dans laquelle le modèle renvoie une demande structurée d’exécution d’une fonction définie par le développeur, avec des arguments JSON. L’application exécute la fonction et renvoie le résultat ; le modèle n’exécute jamais de code lui-même.

[Byte pair encoding (BPE)](https://broadrouter.com/fr/glossary/bpe/)

Le byte pair encoding (BPE) est un algorithme de tokenisation en sous-mots qui part de caractères ou d’octets isolés et fusionne de façon répétée la paire adjacente la plus fréquente en une nouvelle entrée de vocabulaire, jusqu’à atteindre une taille de vocabulaire cible. La plupart des tokenizers de LLM actuels utilisent le BPE ou une variante au niveau octet.

[Chat template (modèle de conversation)](https://broadrouter.com/fr/glossary/chat-template/)

Un chat template est la règle de mise en forme, généralement écrite en Jinja et livrée avec le tokenizer d’un modèle, qui convertit une liste de messages de chat avec leurs rôles en la séquence unique de tokens attendue par le modèle, tokens de contrôle spéciaux compris. Un mauvais template peut fortement dégrader les réponses d’un modèle.

[Hamza](https://broadrouter.com/fr/glossary/hamza/)

La hamza (ء) est la lettre arabe qui note le coup de glotte. Elle s’écrit seule ou sur un support : alif (أ إ), waw (ؤ) ou ya (ئ), et آ combine alif et madda. Comme le texte saisi l’écrit de façon irrégulière, les moteurs de recherche et l’évaluation de la parole ramènent souvent les formes d’alif à ا.

## Questions fréquentes

### Combien de tokens fait un mot arabe ?

Cela dépend du modèle. Dans le jeu de données de BroadRouter sur les tokenizers, l’arabe standard moderne a demandé de 183.0 (Qwen3.8 27B) à 243.9 (GLM 5.3) tokens pour 100 mots sur cinq tokenizers. Comparez des textes parallèles plutôt que des mots isolés, et mesurez sur le modèle que vous utilisez.

### Combien de tokens font 1 000 mots en anglais ?

Environ 1,269 à 1,320 tokens de prose anglaise courante sur les cinq tokenizers du jeu de données mesuré par BroadRouter (1,290 en moyenne). Le texte technique, le code et les autres langues en demandent davantage : comptez donc votre propre texte.

### Supprimer les diacritiques réduit-il le nombre de tokens ?

En général oui, car les diacritiques sont des caractères supplémentaires que le tokenizer doit encoder. Ne les supprimez que si votre tâche n’en a pas besoin ; pour le Coran, la poésie ou la prononciation, ils portent du sens.

### La règle des 4 caractères par token vaut-elle pour l’arabe ?

Non. OpenAI donne cet ordre de grandeur pour du texte anglais sur ses propres tokenizers. Il ne se transpose ni à l’arabe ni aux tokenizers d’autres modèles.

### Les tokens arabes coûtent-ils plus cher à l’unité ?

Non. Un token coûte le même prix quelle que soit la langue qu’il encode. L’arabe ne coûte plus cher que lorsque le même contenu se découpe en davantage de tokens.

## À lire ensuite

-   [Choisir une API LLM pour l’arabe : ce qu’il faut tester](https://broadrouter.com/fr/blog/choosing-an-llm-for-arabic/)
-   [Tarification des API LLM : entrée, cache, sortie et raisonnement](https://broadrouter.com/fr/blog/llm-api-pricing-explained/)
-   [Prompt engineering en arabe : registre, RTL, chiffres et texte mixte](https://broadrouter.com/fr/blog/arabic-prompt-engineering/)
-   [L’arabizi et les LLM : traiter le franco-arabe et ses chiffres 3 et 7](https://broadrouter.com/fr/blog/arabizi-llm-handling/)
-   [Vocaliser un texte arabe avec un LLM : prompt, contrôles, DER](https://broadrouter.com/fr/blog/arabic-diacritization-llm/)
-   [Prix des API LLM en octobre 2026 : 3 hausses, aucune baisse](https://broadrouter.com/fr/blog/llm-api-price-changes-october-2026/)
-   [Les prix des API LLM changent-ils souvent ? 3 ans d’archives](https://broadrouter.com/fr/blog/how-often-llm-api-prices-change/)
-   [Guide : Utiliser le SDK Python d’OpenAI avec BroadNet Inference](https://broadrouter.com/fr/guides/openai-python-sdk/)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Sources**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, vérifié le 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, vérifié le 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, algorithmes de tokenisation (vérifié le 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Centre d’aide OpenAI, ce que sont les tokens et comment les compter](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Jeu de données BroadRouter sur l’efficacité des tokenizers, version 4 (mesuré le 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Benchmark d’évaluation FLORES-200 (Meta, CC BY-SA 4.0), les phrases parallèles derrière les ratios MSA (commit figé, vérifié le 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Référence de l’API de BroadNet Inference, champs usage (vérifiée le 2026-11-16) (en anglais)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-blog-tokens-per-word-arabic-english&utm_content=sources)
