Kung bumubuo ka ng Arabic na produkto sa isang LLM API, sa token binibilang ang bill mo, hindi sa salita. At ang parehong mensahe, kapag isinulat sa Arabic, ay madalas nagiging mas maraming token kaysa sa English na salin nito. Naaapektuhan nito ang gastos, ang context limit at ang latency. Ipinapaliwanag ng post na ito kung bakit ito nangyayari, kung bakit nakakalitong numero ang “token kada salita”, at kung paano sukatin ang totoong ratio para sa sarili mong content sa model na ginagamit mo.
Ilang token pa ang kailangan ng Arabic? Mga sinukat na numero
Sinukat namin ito gamit ang totoong tokenizer ng bawat model sa mga parallel na text (parehong kahulugan sa English at Arabic). Nasa libreng tokenizer efficiency dataset (CSV at JSON, CC BY 4.0, bersyon 4, sinukat noong 2026-11-15) ang buong table, ang 95% interval at ang pamamaraan:
| Tokenizer | Arabic ÷ English, Modern Standard (2,009 na FLORES-200 na pangungusap) | Arabic ÷ English, Gulf dialect (49 na Tatoeba na pangungusap) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
Mga 127 hanggang 132 token kada 100 salita ang English na prosa (Wikipedia at Project Gutenberg) sa lima. Galing ang mga Modern Standard Arabic na ratio sa parehong 2,009 na FLORES-200 na pangungusap sa dalawang wika (pormal na balita, travel at encyclopedia na text mula sa English na Wikimedia na artikulo, propesyonal na isinalin). Walang Gulf Arabic ang FLORES-200, kaya 49 maiikling pares ng pangungusap mula sa Tatoeba ang gamit ng Gulf na column at mas hindi ito tumpak; nagbibigay ang dataset page ng interval para sa bawat figure. Wala rito ang traffic mo, kaya gamitin ang mga ratio para sa pagpaplano at sukatin ang sarili mong content bago mag-budget. Binibilang ng Arabic token counter ang na-paste na text sa bawat tokenizer, at nagko-convert sa dalawang direksyon ang tokens to words.
Para gawing pera ang mga ratio na ito, nagpe-presyo ang aming real cost by language dataset ng 1M character ng bawat wika sa bawat model na naitugma namin sa sinukat na tokenizer, sa iba’t ibang provider. Hindi laging mas murang Arabic na bill ang mas murang presyo kada token.
Ano ang ginagawa ng tokenizer?
Bago makita ng model ang text, hinahati ito ng tokenizer sa mga token mula sa fixed na bokabularyo. Gumagamit ang karamihan ng modernong tokenizer ng mga subword na paraan gaya ng byte-pair encoding (BPE), WordPiece o SentencePiece, na inilalarawan sa buod ng mga tokenizer ng Hugging Face. Nagiging iisang token ang mga madalas na string sa training data; hinahati sa mas maliliit na piraso ang mga bihirang string, hanggang sa iisang byte kung kailangan.
Natututunan ang bokabularyo mula sa isang training corpus. Ang mga wikang nangingibabaw sa corpus na iyon ang nakakakuha ng pinakamahusay na encoding. May sariling tokenizer ang bawat pamilya ng model, kaya puwedeng hatiin ng mga model ng DeepSeek, Qwen, GLM at Gemma ang parehong Arabic na pangungusap sa magkakaibang bilang ng token.
Bakit madalas mas maraming token ang Arabic?
1. Hindi pantay na training data
Sinanay ang maraming tokenizer sa text kung saan sobra-sobra ang English. Nagiging tig-isang token ang mga karaniwang English na salita; nahahati sa ilang piraso ang maraming karaniwang Arabic na salita. Sinukat ito ni Petrov et al. (2023) sa maraming tokenizer at wika at nakakita ng malalaking pagkakaiba sa bilang ng token na kailangan ng parehong content, at kadalasang kabilang ang English sa pinakamura. Ganoon din ang konklusyon ni Ahia et al. (2023) para sa mga commercial na API, at binanggit nila ang direktang epekto sa binabayaran ng mga nagsasalita ng iba’t ibang wika.
2. Arabic morphology
Direktang ikinakabit ng Arabic sa mga salita ang mga conjunction, preposition, article at pronoun. Puwedeng dalhin ng isang nakasulat na salita ang ikinakalat ng English sa ilang salita:
| Arabic | Halos katumbas sa English |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Kadalasang hinahati sa mga piraso ng tokenizer ang isang kombinasyong hindi pa nito nakikita nang madalas. Itinataas niyan ang token kada salita, kahit makatwiran ang token kada kahulugan.
3. Mga detalye ng script
Ang diacritics (tashkeel), tatweel (ang character na pampahaba), ang iba’t ibang anyo ng alef at hamza, at ang mga Arabic-Indic na digit ay pawang dagdag na character o variant na kailangang i-encode ng tokenizer. Puwede ring mahati sa hindi inaasahang paraan ang halo-halong Arabic at Latin na text, at ang Arabizi (Arabic na isinulat sa Latin na letra na may mga digit). Tingnan ang paano hinahawakan ng mga LLM ang Arabizi.
Bakit maling sukatan ang token kada salita?
Dahil madalas katumbas ng ilang English na salita ang isang Arabic na salita, hindi maikukumpara ang “N token kada salita ang Arabic” at “M token kada salita ang English”. Mas patas na tanong: ilang token ang kailangan ng parehong content sa bawat wika? Gumamit ng parallel na text, ang parehong mensahe na isinulat sa dalawang wika, at ikumpara ang kabuuang token. Ang ratio na iyon ang nagbabago sa bill mo.
Ang madalas banggiting tantiya ng OpenAI, mga apat na character o tatlong-kapat ng salita kada token, ay para sa English sa sariling mga tokenizer ng OpenAI. Hindi ito nalalapat sa Arabic o sa ibang pamilya ng model, kaya huwag itong gamitin sa mga Arabic na budget.
Paano sukatin ang sarili mong ratio?
Ang usage field ang ground truth: iyan ang batayan ng singil sa iyo. Nagpapadala ang script na ito ng mga parallel na text sa isang model at binabasa ang usage.prompt_tokens. Nagbabawas ito ng baseline para hindi mabaluktot ng fixed na overhead ng chat template ang maiikling text. Gumagamit ito ng Gemma 4 VL 26B, na gumagana sa libreng panimulang credit at hindi nagre-reason; palitan ito ng model na talagang gagamitin mo.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Para makakuha ng numerong mapagkakatiwalaan:
- Gumamit ng 50–200 totoong pares mula sa sarili mong domain: support message, paglalarawan ng produkto, invoice. Maingay ang maiikling demo na pangungusap.
- Gamitin ang dialect na isinusulat ng mga user mo. Puwedeng iba ang tokenization ng Gulf, Egyptian at Levantine na text kaysa sa Modern Standard Arabic.
- Patakbuhin ito kada model. Kaunti lang ang sinasabi ng ratio na sinukat sa isang model tungkol sa iba. Kung pumipili ka sa pagitan ng mga model, patakbuhin ang parehong mga pares sa bawat isa; tinatalakay ng pagpili ng LLM para sa Arabic ang kalidad, na kasinghalaga ng bilang ng token.
- Sukatin din ang output. Pasagutin ang bawat model sa Arabic at sa English at ikumpara ang
completion_tokens. Mas mahal kada token ang output kaysa sa input sa bawat model, kaya puwedeng mas mahalaga ang output ratio.
Kung nailathala ang tokenizer ng model (halimbawa sa Hugging Face), puwede ka ring magbilang ng token offline gamit ang tokenizer na iyon. Ang usage field ng API pa rin ang huling salita, dahil kasama rito ang chat template na inilalapat ng server.
Pagbasa ng resulta
Kapag may ratio ka na para sa bawat model, tatlong pattern ang karaniwan:
- Malapit sa 1. Mahusay hawakan ng tokenizer ang Arabic mo. Halos pareho ang gastos ng Arabic at English na traffic para sa parehong content.
- Malinaw na higit sa 1. Mas mahal ang Arabic kada mensahe. Isama ito sa forecast at sa context limit, at pag-isipan kung may ibang model na mas mahusay humawak ng Arabic mo sa katulad na kalidad.
- Napakalaki ng pagkakaiba sa mga sample mo. Kadalasang senyales ito ng halo-halong content: text na may diacritics, Arabizi, numero, URL o code sa loob ng mga Arabic na mensahe. Hatiin ang mga sample ayon sa uri at sukatin nang hiwalay ang bawat isa.
Itago ang script at patakbuhin ulit kapag nagpalit ka ng model o kapag nag-update ang provider ng bersyon ng model, dahil binabago ng bagong tokenizer ang bawat bilang.
Ano ang ibig sabihin nito para sa gastos at context?
Sumusunod sa token ang gastos, kaya itinataas ng mas mataas na Arabic ratio ang bill sa parehong factor para sa Arabic na bahagi ng traffic mo. Sa presyo ng BroadNet, $0.175 kada 1M token ang Arabic na input sa Qwen3.8 27B at $2.17 ang output; sa Gemma 4 VL 26B, $0.10 at $0.22. Pareho ang presyo kada token sa kahit anong wika; ang bilang lang ng token ang nagbabago. Ipasok ang sinukat mong ratio sa paraan ng pagtantiya ng buwanang gastos.
Lumiliit din ang context limit sa parehong paraan. Tumatanggap ang Gemma 4 VL 26B ng 32,768 token kada request; mas maagang napupuno iyan ng mahabang Arabic na dokumento kaysa sa English na salin nito. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576.
Paano mababawasan ang bilang ng Arabic na token?
- Mag-normalise nang consistent. Tanggalin ang tatweel, at alisin ang diacritics kung hindi kailangan ng task mo. Ilapat ang parehong normalisation sa bawat request para gumana pa rin ang caching.
- Panatilihing maikli ang mga instruction. Ipinapadala ulit ang mahabang system prompt sa bawat turn; nakakatipid ng token ang masinsing pananalita sa dalawang wika.
- I-cache ang stable na prefix. Sa mga model na may cached rate, mas mura nang malaki ang paulit-ulit na system prompt at dokumento. Paano gumagana ang caching.
- Humingi ng maiikling sagot. Mas nakakatipid ang “Sumagot sa dalawang pangungusap” kaysa sa kahit anong tokenizer trick.
Para sa Arabic na pananalita sa halip na text, kada minuto ng audio ang presyo ng transcription, hindi kada token, kaya hindi naaapektuhan ng tokenization ang bahaging iyon ng bill; tingnan ang Arabic speech-to-text page.
