Bahasa Arab biasanya ditulis tanpa vokal pendek. Pembaca mengisinya daripada konteks; perisian selalunya tidak mampu. Memulihkannya, yang dipanggil pemberian baris (diacritization) atau tashkeel, menukar كتب kepada كَتَبَ (dia menulis), كُتُبٌ (buku-buku) atau كُتِبَ (ia telah ditulis), bergantung pada ayat. Artikel ini menunjukkan cara melakukannya dengan LLM melalui API serasi OpenAI, cara menghalang model daripada mengubah teks anda secara senyap, dan cara mengukur hasilnya berbanding pemberi baris khusus.
Bilakah anda memerlukan baris?
- Text-to-speech. Suara memerlukan vokal untuk menyebut perkataan. Kertas CATT menyenaraikan text-to-speech dan terjemahan mesin sebagai aplikasi yang diperbaik oleh diakritik. BroadNet Inference tiada endpoint text-to-speech, jadi dalam saluran TTS, teks berbaris dihantar ke perkhidmatan TTS yang berasingan.
- Pelajar dan bahan kanak-kanak. Pembaca yang masih belajar bergantung pada tanda baris.
- Nama dan istilah yang samar. Kata nama khas, perkataan jarang dan istilah teknikal yang maknanya berubah jika vokalnya salah.
- Teks agama dan klasik. Di sini tanda baris ialah sebahagian daripada teks, dan alat automatik hanya patut mengisi kekosongan di bawah semakan manusia.
Anda biasanya tidak mahu baris untuk carian atau perolehan semula. Di situ anda membuangnya, seperti dalam penormalan teks Arab untuk carian. Penormal teks Arab percuma membuang tanda itu dalam pelayar. Pemberian baris ialah operasi sebaliknya, dan jauh lebih sukar: membuang tanda hanyalah carian jadual, manakala menambahnya memerlukan tatabahasa dan konteks.
Sejauh manakah LLM bagus dalam pemberian baris?
Dua angka yang diterbitkan, yang perlu dibaca dengan berhati-hati:
| Sistem | Penanda aras CATT, DER dengan baris akhir kata | DER tanpa | WER dengan baris akhir kata | WER tanpa |
|---|---|---|---|---|
| CATT pengekod-penyahkod | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT pengekod sahaja | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (GPT-4-turbo menurut teks kertas itu) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
Sumber: Jadual 4 dalam kertas CATT (2024). Lebih rendah lebih baik. Penanda aras ini terdiri daripada 742 ayat berita yang dikikis pada 2023, diberi baris oleh dua pakar penutur asli dan disemak oleh pakar ketiga.
Pada set ujian kedua kertas itu, WikiNews (400 ayat), GPT-4 mencatat skor jauh lebih baik daripada yang lain: 0.551% DER. Penulis menandakan baris itu dan mencadangkan model itu mungkin telah melihat WikiNews semasa latihan. Itulah amaran umum bagi penanda aras LLM: teks ujian awam mungkin ada dalam data latihan. Penulis CATT menimbulkan kebimbangan yang sama tentang Tashkeela, yang buku-bukunya mengandungi banyak petikan al-Quran dan hadis.
Satu kertas 2024 yang berasingan oleh Skiredj dan Berrada melaporkan GPT-4 pada kira-kira 20% DER dan 30% WER pada penanda aras Fadel et al., tanpa butiran yang kami perlukan untuk membandingkannya dengan jadual di atas.
Jadi model setaraf GPT-4 boleh menghampiri pemberi baris khusus, dan boleh juga ketinggalan. Kedua-dua kertas itu lebih awal daripada model terbuka yang boleh anda panggil hari ini. Ukur pada teks anda sendiri.
Set ujian manakah yang wujud?
| Set data | Apakah ia |
|---|---|
| Tashkeela | 75,629,921 perkataan berbaris penuh daripada 97 buku; 98.85% bahasa Arab klasik daripada perpustakaan Shamela, 1.15% bahasa Arab Standard moden |
| Penanda aras Fadel et al. | Kira-kira 2.3J perkataan yang diekstrak daripada Tashkeela; 50,000 baris latihan, 2,500 pengesahan dan 2,500 ujian |
| Penanda aras CATT | 742 ayat berita yang diberi baris secara manual, dikeluarkan bersama model CATT |
| WikiNews | 400 ayat berita MSA yang diberi baris secara manual |
Tashkeela dan set Fadel kebanyakannya klasik. Jika teks anda bahasa Arab perniagaan atau berita moden, set CATT dan WikiNews lebih hampir, dan sampel teks anda sendiri paling hampir.
Prompt apakah yang mengekalkan huruf?
Tugas model ialah menambah tanda dan tidak menyentuh apa-apa lagi. LLM suka membantu, dan ia akan membetulkan الى kepada إلى, menukar ى akhir kepada ي atau menambah hamzah yang tiada. Setiap satu mungkin bahasa Arab yang betul, tetapi itu pembetulan ejaan, bukan pemberian baris. Ia mengubah teks anda tanpa memberitahu.
Jadi prompt menyatakan peraturannya, dan kod menguatkuasakannya: buang diakritik daripada balasan dan bandingkan dengan input yang juga dibuang diakritiknya. Jika satu huruf, ruang atau tanda baca berbeza, balasan itu ditolak.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
Kami menjalankannya terhadap pelayan olok-olok setempat, bukan API langsung. Balasan sedianya untuk ayat pertama “membetulkan” الى kepada إلى dalam kedua-dua cubaan, dan balasan untuk ayat kedua bersih. Outputnya:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
Nota tentang kod:
- Unicode NFC dahulu. Hamzah boleh tiba sebagai satu aksara pragubah (أ) atau sebagai huruf dengan tanda gabungan. NFC menjadikan kedua-dua pihak sama sebelum dibandingkan. Artikel penormalan menerangkan perangkap ini dengan terperinci.
max_tokens=4000. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalammax_tokens. Had yang terlalu kecil memulangkan balasan kosong, yang akan ditolak oleh semakan. Beri ruang, atau tetapkanreasoning_effortkepada low; lihat respons kosong daripada model penaakulan dan kalkulator bajet token penaakulan.- Semakan ini tidak menguji “keep existing diacritics”. Jika input anda sebahagiannya sudah berbaris, bandingkan tanda-tanda itu juga.
- Ejaan ialah keputusan berasingan. Jika anda mahu الى dibetulkan, jalankan langkah pembetulan dahulu, kemudian beri baris pada teks yang telah dibetulkan. Mencampurkan kedua-duanya menjadikan kedua-duanya mustahil disemak.
- Pecahkan teks panjang. Hantar satu ayat atau perenggan bagi setiap permintaan. CATT sendiri mengehadkan input kepada 1,024 aksara dan memecahkan ayat panjang pada tanda baca; tabiat yang sama memastikan balasan LLM pendek dan cubaan semula murah.
Untuk nasihat umum tentang menulis prompt bahasa Arab, termasuk bila hendak memberitahu model supaya tidak menambah baris, lihat kejuruteraan prompt bahasa Arab.
Bagaimanakah anda memarkahkan pemberian baris: DER dan WER?
Kadar ralat diakritik (DER) ialah bahagian huruf yang diakritiknya berbeza daripada rujukan. Kadar ralat perkataan (WER) di sini ialah bahagian perkataan yang mempunyai sekurang-kurangnya satu diakritik salah. Itu bukan WER pengecaman pertuturan dalam artikel ASR kami; ia mengira perkataan dengan tanda yang salah, bukan perkataan yang disisip atau dipadam.
Dua tetapan banyak mengubah angka:
- Dengan atau tanpa baris akhir kata. Huruf terakhir sesuatu perkataan membawa kasus tatabahasanya (i’rab), yang bergantung pada sintaksis. Kertas-kertas melaporkan kedua-dua tetapan, kerana baris akhir kata menyebabkan banyak ralat.
- Mengira huruf tanpa diakritik. Sesetengah skrip mengira huruf tanpa baris (seperti alef dalam الطالب) sebagai ramalan “tiada diakritik” yang betul; sesetengahnya melangkaunya. Skrip pemarkahan Fadel mempunyai bendera untuk ini.
Skrip yang diterbitkan berbeza dalam pilihan ini, jadi bandingkan hanya angka yang dihasilkan oleh skrip yang sama. Skrip ini cukup pendek untuk dibaca:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
Ramalan contoh mempunyai dua baris akhir kata yang salah dan satu vokal dalaman yang salah merentas 32 huruf dan 7 perkataan. Ia mencetak DER 9.38 dan WER 42.86 dengan baris akhir kata, dan DER 4.0 dan WER 14.29 tanpanya. Perhatikan bagaimana WER membesarkan beberapa ralat: satu tanda yang salah merosakkan seluruh perkataan.
Skrip ini enggan memarkahkan perkataan yang hurufnya telah berubah. Itu disengajakan. Pemberi baris yang menyunting huruf telah gagal dalam tugasnya, dan DER-nya tidak bermakna.
Sebagai semakan kedua, kami menjalankan Mishkal 0.4.1, pemberi baris berasaskan peraturan, pada satu ayat 16 perkataan yang kami beri baris secara manual. Kesemua empat ralatnya ialah baris akhir kata, seperti مُحَمَّدُ untuk مُحَمَّدٌ. Ia mencatat DER 5.88 dengan baris akhir kata dan 0.0 tanpanya. Satu ayat tidak membuktikan apa-apa tentang Mishkal; ia menunjukkan mengapa anda melaporkan kedua-dua tetapan.
Untuk membina set ujian, ambil 100 hingga 200 ayat daripada teks anda sendiri, minta penutur asli memberi baris, buang tanda-tanda itu, dan jalankan setiap calon. Simpan versi manusia sebagai rujukan emas.
Bilakah pemberi baris khusus mengatasi LLM?
| Pilih | Bila |
|---|---|
| Model khusus (CATT, libtashkeel, Mishkal) | Volum tinggi, jenis teks tetap, kependaman ketat, penggunaan luar talian atau pada peranti, atau keperluan output huruf demi huruf secara reka bentuk |
| LLM melalui API | Volum rendah atau tidak sekata, input bercampur atau bersepah, pasukan tanpa ML ops, atau saluran yang sudah memanggil LLM untuk langkah lain |
Model khusus meramalkan satu tanda bagi setiap huruf, jadi ia tidak boleh menulis semula teks anda. CATT berlesen Apache 2.0 dan dipasang dengan pip install catt-tashkeel; README-nya mengesyorkan model pengekod sahaja untuk kelajuan dan pengekod-penyahkod untuk ketepatan. libtashkeel berlesen MIT dan dilatih terutamanya pada MSA. Mishkal berasaskan peraturan dan berlesen GPL, yang penting jika anda menghantarnya di dalam produk.
LLM lebih cepat untuk bermula dan mampu mengendalikan input yang tidak pernah dilihat oleh model terlatih: dialek, campuran bahasa Arab dan Inggeris, tanda baca yang pelik. Ia memerlukan semakan rangka di atas pada setiap balasan, dan kosnya dikira setiap token.
Berapakah kos pemberian baris dengan LLM?
Diakritik ialah aksara tambahan, dan tokenizer memecahkannya kepada token tambahan. Kami mengira set ujian Fadel 2,500 baris (125,098 perkataan) dengan tokenizer setiap model sendiri, teks tanpa baris berbanding teks berbaris penuh:
| Tokenizer | Teks tanpa baris | Berbaris | Nisbah |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
Anda membayar token input untuk teks tanpa baris dan token output untuk balasan berbaris, ditambah sebarang penaakulan. Output ialah bahagian yang mahal: $2.17 setiap sejuta token pada Qwen3.8 27B, $0.52 pada DeepSeek V4.1 Flash, $3.46 pada GLM 5.3 dan $0.22 pada Gemma 4 VL 26B, daripada halaman harga BroadNet. Cubaan semula selepas semakan gagal menambah lagi. Tampal teks anda sendiri ke dalam pengira token bahasa Arab untuk menyemak nisbah pada data anda, dan lihat token setiap perkataan dalam bahasa Arab dan Inggeris untuk sebab bahasa Arab memerlukan lebih banyak token sejak awal.
Untuk kerja sekali sahaja ke atas arkib besar, pelan DeepSeek V4.1 Flash menggantikan meter dengan harga rata setiap sesi ($15 seminggu atau $1 sejam); setiap sesi menjalankan satu permintaan pada satu masa, jadi rancang larian seperti dalam pemprosesan kelompok tanpa API kelompok.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference menyediakan empat model chat di atas melalui satu endpoint serasi OpenAI, jadi kod ini berjalan dengan OpenAI Python SDK sebaik sahaja base URL dan kunci ditetapkan. Gemma 4 VL 26B berjalan pada kredit permulaan $5; DeepSeek, GLM dan Qwen memerlukan tambah nilai. BroadNet tiada endpoint pemberian baris, tidak menerbitkan penanda aras pemberian baris sendiri dan tiada text-to-speech. Model mana yang paling baik memberi baris pada teks anda belum diukur: skor model-model itu pada sampel anda sendiri sebelum memilih. Lihat rujukan API untuk butiran permintaan.
