Se você constrói um produto em árabe sobre uma API de LLM, sua conta é contada em tokens, não em palavras. E a mesma mensagem, escrita em árabe, muitas vezes vira mais tokens do que a tradução em inglês. Isso afeta custo, limites de contexto e latência. Este post explica por que isso acontece, por que “tokens por palavra” é um número enganoso e como medir a proporção real do seu conteúdo no modelo que você usa.
Quantos tokens a mais o árabe precisa? Números medidos
Medimos isso com o tokenizer real de cada modelo em textos paralelos (o mesmo sentido em inglês e em árabe). A tabela completa, os intervalos de 95% e o método estão no dataset gratuito de eficiência de tokenizers (CSV e JSON, CC BY 4.0, versão 4, medido em 2026-11-15):
| Tokenizer | Árabe ÷ inglês, padrão moderno (2,009 frases do FLORES-200) | Árabe ÷ inglês, dialeto do Golfo (49 frases do Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
A prosa em inglês (Wikipedia e Project Gutenberg) ficou entre cerca de 127 e 132 tokens por 100 palavras nos cinco. As proporções do árabe padrão moderno vêm das mesmas 2,009 frases do FLORES-200 nos dois idiomas (texto formal de notícias, viagens e enciclopédia de artigos da Wikimedia em inglês, traduzidos por profissionais). O FLORES-200 não tem árabe do Golfo, então a coluna do Golfo usa 49 pares curtos de frases do Tatoeba e é bem menos precisa; a página do dataset dá um intervalo para cada valor. Nada disso é o seu tráfego, então use as proporções para planejar e meça o seu conteúdo antes de fazer o orçamento. O contador de tokens para árabe conta um texto colado em cada tokenizer, e tokens para palavras converte nos dois sentidos.
Para transformar essas proporções em dinheiro, nosso dataset de custo real por idioma precifica 1M de caracteres de cada idioma em todos os modelos que conseguimos associar a um tokenizer medido, entre provedores. Um preço por token menor nem sempre significa uma conta menor em árabe.
O que um tokenizer faz?
Antes de o modelo ver o texto, um tokenizer o divide em tokens tirados de um vocabulário fixo. A maioria dos tokenizers modernos usa métodos de subpalavras como byte-pair encoding (BPE), WordPiece ou SentencePiece, descritos no resumo dos tokenizers do Hugging Face. Strings frequentes nos dados de treino viram tokens únicos; strings raras são quebradas em pedaços menores, até bytes individuais se necessário.
O vocabulário é aprendido a partir de um corpus de treino. Os idiomas que dominam esse corpus ganham a codificação mais eficiente. Cada família de modelos tem o próprio tokenizer, então os modelos DeepSeek, Qwen, GLM e Gemma podem dividir a mesma frase em árabe em números de tokens bem diferentes.
Por que o árabe costuma usar mais tokens?
1. Desequilíbrio nos dados de treino
Muitos tokenizers foram treinados com texto em que o inglês está muito sobrerrepresentado. Palavras comuns em inglês viram um token cada; muitas palavras comuns em árabe são quebradas em vários pedaços. Petrov et al. (2023) mediram isso em muitos tokenizers e idiomas e encontraram grandes diferenças no número de tokens de que o mesmo conteúdo precisa, com o inglês normalmente entre os mais baratos. Ahia et al. (2023) chegaram a uma conclusão parecida para APIs comerciais e apontaram o efeito direto sobre quanto pagam falantes de idiomas diferentes.
2. Morfologia do árabe
O árabe junta conjunções, preposições, o artigo e pronomes diretamente às palavras. Uma palavra escrita pode carregar o que o inglês espalha por várias:
| Árabe | Inglês aproximado |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Um tokenizer que não viu uma combinação específica vezes suficientes a quebra em pedaços. Isso aumenta os tokens por palavra, mesmo quando os tokens por sentido são razoáveis.
3. Detalhes da escrita
Diacríticos (tashkeel), tatweel (o caractere de alongamento), as diferentes formas de alef e hamza e os dígitos arábico-índicos são caracteres ou variantes extras que o tokenizer precisa codificar. Texto misturando árabe e latim, e o arabizi (árabe escrito em letras latinas com números), também podem se dividir de formas inesperadas. Veja como os LLMs lidam com arabizi.
Por que tokens por palavra é a métrica errada?
Como uma palavra em árabe muitas vezes equivale a várias palavras em inglês, “o árabe usa N tokens por palavra” e “o inglês usa M tokens por palavra” não são comparáveis. Uma pergunta mais justa é: quantos tokens o mesmo conteúdo precisa em cada idioma? Use texto paralelo, a mesma mensagem escrita nos dois idiomas, e compare o total de tokens. É essa proporção que muda a sua conta.
A regra prática da OpenAI, muito citada, de cerca de quatro caracteres ou três quartos de palavra por token, vale para inglês nos tokenizers da própria OpenAI. Ela não se transfere para o árabe nem para outras famílias de modelos, então não a use em orçamentos para árabe.
Como medir a sua própria proporção?
O campo usage é a referência: é sobre ele que você é cobrado. Este script envia textos paralelos a um modelo e lê usage.prompt_tokens. Ele subtrai uma linha de base para que o overhead fixo do template de chat não distorça textos curtos. Usa o Gemma 4 VL 26B, que funciona com o crédito inicial gratuito e não raciocina; troque pelo modelo que você vai usar de fato.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Para chegar a um número confiável:
- Use de 50 a 200 pares reais do seu domínio: mensagens de suporte, descrições de produtos, notas fiscais. Frases curtas de demonstração são ruidosas.
- Use o dialeto em que seus usuários escrevem. Texto do Golfo, egípcio e levantino pode ser tokenizado de forma diferente do árabe padrão moderno.
- Rode para cada modelo. Uma proporção medida em um modelo diz pouco sobre outro. Se você está escolhendo entre modelos, rode os mesmos pares em cada um; como escolher um LLM para árabe trata da qualidade, que importa tanto quanto a contagem de tokens.
- Meça o output também. Peça a cada modelo para responder em árabe e em inglês e compare
completion_tokens. Em todo modelo o output custa mais por token que o input, então a proporção do output pode importar mais.
Se o tokenizer do modelo é publicado (por exemplo no Hugging Face), você também pode contar tokens offline com ele. O campo usage da API ainda é a palavra final, porque inclui o template de chat que o servidor aplica.
Lendo os resultados
Quando você tiver uma proporção para cada modelo, três padrões são comuns:
- Perto de 1. O tokenizer lida bem com o seu árabe. Tráfego em árabe e em inglês custa mais ou menos o mesmo para o mesmo conteúdo.
- Claramente acima de 1. O árabe custa mais por mensagem. Considere isso nas previsões e nos limites de contexto, e avalie se outro modelo lida com o seu árabe de forma mais eficiente com qualidade parecida.
- Muito diferente entre as amostras. Geralmente é sinal de conteúdo misto: texto com diacríticos, arabizi, números, URLs ou código dentro das mensagens em árabe. Separe as amostras por tipo e meça cada uma separadamente.
Guarde o script e rode de novo quando trocar de modelo ou quando um provedor atualizar a versão de um modelo, porque um tokenizer novo muda todas as contagens.
O que isso significa para custo e contexto?
O custo acompanha os tokens, então uma proporção maior para o árabe aumenta a conta pelo mesmo fator na parte em árabe do seu tráfego. Com os preços da BroadNet, input em árabe no Qwen3.8 27B custa $0.175 por 1M de tokens e output $2.17; no Gemma 4 VL 26B, $0.10 e $0.22. O preço por token é o mesmo em qualquer idioma; só a contagem de tokens muda. Use a proporção medida no método para estimar o custo mensal.
Os limites de contexto encolhem do mesmo jeito. O Gemma 4 VL 26B aceita 32.768 tokens por requisição; um documento longo em árabe enche isso antes da sua tradução em inglês. DeepSeek V4.1 Flash e GLM 5.3 aceitam 1.048.576.
Como reduzir a contagem de tokens em árabe?
- Normalize de forma consistente. Remova o tatweel, e os diacríticos se a sua tarefa não precisar deles. Aplique a mesma normalização em toda requisição para que o cache continue funcionando.
- Mantenha as instruções curtas. Um system prompt longo é reenviado a cada turno; uma redação enxuta economiza tokens nos dois idiomas.
- Coloque o prefixo estável em cache. Nos modelos com tarifa de cache, system prompts e documentos repetidos custam bem menos. Como o cache funciona.
- Peça respostas concisas. “Responda em duas frases” economiza mais do que qualquer truque de tokenizer.
Para fala em árabe em vez de texto, a transcrição é cobrada por minuto de áudio, não por token, então a tokenização não afeta essa parte da conta; veja a página de speech-to-text para árabe.
