Jika anda membina produk bahasa Arab di atas API LLM, bil anda dikira dalam token, bukan perkataan. Dan mesej yang sama, apabila ditulis dalam bahasa Arab, sering menjadi lebih banyak token berbanding terjemahan Inggerisnya. Itu menjejaskan kos, had konteks dan kependaman. Artikel ini menerangkan mengapa ia berlaku, mengapa “token setiap perkataan” ialah angka yang mengelirukan, dan cara mengukur nisbah sebenar bagi kandungan anda sendiri pada model yang anda gunakan.
Berapa banyak lagi token yang diperlukan bahasa Arab? Angka yang diukur
Kami mengukurnya dengan tokenizer sebenar setiap model pada teks selari (makna yang sama dalam bahasa Inggeris dan Arab). Jadual penuh, selang 95% dan kaedahnya ada dalam set data kecekapan tokenizer percuma (CSV dan JSON, CC BY 4.0, versi 4, diukur 2026-11-15):
| Tokenizer | Arab ÷ Inggeris, Standard Moden (2,009 ayat FLORES-200) | Arab ÷ Inggeris, dialek Teluk (49 ayat Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
Prosa Inggeris (Wikipedia dan Project Gutenberg) berjumlah kira-kira 127 hingga 132 token setiap 100 perkataan merentasi kelima-limanya. Nisbah bahasa Arab Standard Moden datang daripada 2,009 ayat FLORES-200 yang sama dalam kedua-dua bahasa (teks berita formal, pelancongan dan ensiklopedia daripada artikel Wikimedia berbahasa Inggeris, diterjemah secara profesional). FLORES-200 tiada bahasa Arab Teluk, jadi lajur Teluk menggunakan 49 pasangan ayat pendek Tatoeba dan jauh kurang tepat; halaman set data memberikan selang bagi setiap angka. Tiada satu pun daripada ini trafik anda, jadi gunakan nisbah ini untuk perancangan dan ukur kandungan anda sendiri sebelum membuat bajet. Pengira token bahasa Arab mengira teks yang ditampal pada setiap tokenizer, dan token kepada perkataan menukar dalam kedua-dua arah.
Untuk menukar nisbah ini kepada wang, set data kos sebenar mengikut bahasa kami mengira harga 1M aksara bagi setiap bahasa pada setiap model yang dapat kami padankan dengan tokenizer yang diukur, merentasi penyedia. Harga setiap token yang lebih murah tidak semestinya bermaksud bil bahasa Arab yang lebih murah.
Apakah yang dilakukan oleh tokenizer?
Sebelum model melihat teks, tokenizer memecahkannya kepada token daripada kosa kata yang tetap. Kebanyakan tokenizer moden menggunakan kaedah subkata seperti byte-pair encoding (BPE), WordPiece atau SentencePiece, yang diterangkan dalam ringkasan tokenizer Hugging Face. Rentetan yang kerap dalam data latihan menjadi satu token; rentetan yang jarang dipecahkan kepada kepingan lebih kecil, hingga ke bait tunggal jika perlu.
Kosa kata dipelajari daripada korpus latihan. Bahasa yang mendominasi korpus itu mendapat pengekodan paling cekap. Setiap keluarga model mempunyai tokenizer sendiri, jadi model DeepSeek, Qwen, GLM dan Gemma boleh memecahkan ayat Arab yang sama kepada bilangan token yang agak berbeza.
Mengapakah bahasa Arab sering menggunakan lebih banyak token?
1. Ketidakseimbangan data latihan
Banyak tokenizer dilatih pada teks yang bahasa Inggerisnya terlalu banyak diwakili. Perkataan Inggeris yang biasa menjadi satu token setiap satu; banyak perkataan Arab yang biasa dipecahkan kepada beberapa kepingan. Petrov et al. (2023) mengukur perkara ini merentasi banyak tokenizer dan bahasa dan mendapati perbezaan besar dalam bilangan token yang diperlukan oleh kandungan yang sama, dengan bahasa Inggeris biasanya antara yang paling murah. Ahia et al. (2023) mencapai kesimpulan serupa bagi API komersial dan mencatat kesan langsung pada apa yang dibayar oleh penutur bahasa berbeza.
2. Morfologi bahasa Arab
Bahasa Arab melekatkan kata hubung, kata sendi, kata sandang dan kata ganti terus pada perkataan. Satu perkataan bertulis boleh membawa apa yang bahasa Inggeris sebarkan pada beberapa perkataan:
| Arab | Anggaran Inggeris |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Tokenizer yang belum cukup kerap melihat sesuatu gabungan selalunya memecahkannya kepada kepingan. Itu meningkatkan token setiap perkataan, walaupun token setiap makna munasabah.
3. Butiran tulisan
Baris (tashkeel), tatweel (aksara pemanjangan), bentuk alif dan hamzah yang berbeza, dan digit Arab-Hindi semuanya aksara atau varian tambahan yang mesti dikodkan oleh tokenizer. Teks Arab dan Rumi yang bercampur, dan Arabizi (bahasa Arab yang ditulis dengan huruf Rumi dan digit), juga boleh dipecahkan dengan cara yang tidak dijangka. Lihat cara LLM mengendalikan Arabizi.
Mengapakah token setiap perkataan metrik yang salah?
Oleh kerana satu perkataan Arab sering menyamai beberapa perkataan Inggeris, “bahasa Arab menggunakan N token setiap perkataan” dan “bahasa Inggeris menggunakan M token setiap perkataan” tidak boleh dibandingkan. Soalan yang lebih adil ialah: berapakah token yang diperlukan oleh kandungan yang sama dalam setiap bahasa? Gunakan teks selari, iaitu mesej yang sama ditulis dalam kedua-dua bahasa, dan bandingkan jumlah token. Nisbah itulah yang mengubah bil anda.
Anggaran kasar OpenAI yang sering dipetik, kira-kira empat aksara atau tiga suku perkataan setiap token, diberikan untuk bahasa Inggeris pada tokenizer OpenAI sendiri. Ia tidak terpakai pada bahasa Arab atau keluarga model lain, jadi jangan gunakannya untuk bajet bahasa Arab.
Bagaimanakah cara mengukur nisbah anda sendiri?
Medan usage ialah kebenaran sebenar: itulah asas bil anda. Skrip ini menghantar teks selari kepada model dan membaca usage.prompt_tokens. Ia menolak garis dasar supaya overhed templat chat yang tetap tidak memesongkan teks pendek. Ia menggunakan Gemma 4 VL 26B, yang boleh digunakan dengan kredit permulaan percuma dan tidak menaakul; gantikan dengan model yang benar-benar akan anda gunakan.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Untuk mendapat angka yang boleh dipercayai:
- Gunakan 50–200 pasangan sebenar daripada domain anda sendiri: mesej sokongan, penerangan produk, invois. Ayat demo pendek terlalu bising.
- Gunakan dialek yang ditulis oleh pengguna anda. Teks Teluk, Mesir dan Levant boleh ditokenkan secara berbeza daripada bahasa Arab Standard Moden.
- Jalankan bagi setiap model. Nisbah yang diukur pada satu model hanya sedikit memberitahu tentang model lain. Jika anda memilih antara model, jalankan pasangan yang sama pada setiap satu; memilih LLM untuk bahasa Arab merangkumi kualiti, yang sama penting dengan kiraan token.
- Ukur output juga. Minta setiap model menjawab dalam bahasa Arab dan Inggeris dan bandingkan
completion_tokens. Output lebih mahal setiap token berbanding input pada setiap model, jadi nisbah output mungkin lebih penting.
Jika tokenizer model diterbitkan (contohnya di Hugging Face), anda juga boleh mengira token secara luar talian dengan tokenizer itu. Medan usage API tetap kata putus, kerana ia termasuk templat chat yang digunakan oleh pelayan.
Membaca hasil
Apabila anda mempunyai nisbah bagi setiap model, tiga corak adalah biasa:
- Hampir 1. Tokenizer mengendalikan bahasa Arab anda dengan baik. Trafik Arab dan Inggeris berkos lebih kurang sama untuk kandungan yang sama.
- Jelas melebihi 1. Bahasa Arab lebih mahal setiap mesej. Ambil kira dalam unjuran dan had konteks, dan pertimbangkan sama ada model lain mengendalikan bahasa Arab anda dengan lebih cekap pada kualiti yang serupa.
- Sangat berbeza merentasi sampel anda. Biasanya tanda kandungan bercampur: teks berbaris, Arabizi, nombor, URL atau kod di dalam mesej bahasa Arab. Pecahkan sampel mengikut jenis dan ukur setiap satu secara berasingan.
Simpan skrip ini dan jalankan semula apabila anda menukar model atau apabila penyedia mengemas kini versi model, kerana tokenizer baharu mengubah setiap kiraan.
Apakah maksudnya bagi kos dan konteks?
Kos meningkat mengikut token, jadi nisbah bahasa Arab yang lebih tinggi menaikkan bil dengan faktor yang sama bagi bahagian bahasa Arab dalam trafik anda. Mengikut harga BroadNet, input bahasa Arab pada Qwen3.8 27B berharga $0.175 setiap 1M token dan output $2.17; pada Gemma 4 VL 26B, $0.10 dan $0.22. Harga setiap token sama dalam apa jua bahasa; hanya kiraan token yang berubah. Masukkan nisbah yang anda ukur ke dalam kaedah anggaran kos bulanan.
Had konteks mengecil dengan cara yang sama. Gemma 4 VL 26B menerima 32,768 token setiap permintaan; dokumen bahasa Arab yang panjang memenuhinya lebih cepat daripada terjemahan Inggerisnya. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576.
Bagaimanakah cara mengurangkan kiraan token bahasa Arab?
- Normalkan secara konsisten. Buang tatweel, dan buang baris jika tugas anda tidak memerlukannya. Gunakan penormalan yang sama pada setiap permintaan supaya cache masih berfungsi.
- Ringkaskan arahan. Prompt sistem yang panjang dihantar semula pada setiap giliran; susunan kata yang padat menjimatkan token dalam kedua-dua bahasa.
- Cache awalan yang stabil. Pada model dengan kadar cache, prompt sistem dan dokumen yang berulang jauh lebih murah. Cara cache berfungsi.
- Minta jawapan ringkas. “Jawab dalam dua ayat” menjimatkan lebih banyak daripada sebarang helah tokenizer.
Untuk pertuturan bahasa Arab dan bukan teks, transkripsi dikenakan harga setiap minit audio, bukan setiap token, jadi tokenisasi tidak menjejaskan bahagian bil itu; lihat halaman speech-to-text bahasa Arab.
