Pembacaan pruf bahasa Arab kelihatan seperti prompt satu baris: “betulkan teks ini”. Dalam praktiknya, model turut mengubah ayat, menambah baris, menukar perkataan dialek kepada perkataan formal dan menerangkan perubahannya, dan anda tidak dapat membezakan suntingan mana yang benar-benar perlu. Artikel ini membina penyemak pada LLM serasi OpenAI yang membuat suntingan sesedikit mungkin, menyemak balasan dalam kod, melabelkan setiap suntingan mengikut jenis ralat dan memarkahkan keseluruhannya seperti yang dilakukan oleh penanda aras penyelidikan.
Sejauh manakah LLM bagus dalam pembetulan tatabahasa bahasa Arab?
Penanda aras piawai ialah tugasan bersama QALB. QALB-2014 menggunakan komen bahasa Arab Standard Moden daripada laman web Al Jazeera: lebih sejuta perkataan teks latihan dengan kira-kira 306,000 pembetulan, dan set ujian kira-kira 50,000 perkataan. QALB-2015 menambah trek kedua berupa esei oleh pelajar bahasa Arab sebagai bahasa asing (L2). Kedua-duanya memarkahkan sistem berdasarkan suntingan dengan M2 scorer. Skor terbaik, F1 (lebih tinggi lebih baik):
| Set ujian | F1 sistem terbaik | Teks |
|---|---|---|
| Ujian QALB-2014 | 67.91 | Komen berita penutur asli |
| Ujian penutur asli QALB-2015 | 72.87 | Komen berita penutur asli |
| Ujian L2 QALB-2015 | 41.20 | Esei pelajar |
Baris L2 ialah amaran yang berguna. Teks pelajar mempunyai lebih banyak ralat pilihan perkataan dan perkataan yang tertinggal, dan sistem terbaik mencatat skor yang jauh lebih rendah. Jika pengguna anda pelajar, jangkakan angka anda lebih menyerupai baris itu.
Kwon, Bhatia, Nagoudi dan Abdul-Mageed (ArabicNLP 2023) kemudian menjalankan ChatGPT dan GPT-4 pada set ujian QALB-2014. Dengan pemarkah yang sama:
| Sistem | F1 |
|---|---|
| ChatGPT, 1 contoh | 53.59 |
| ChatGPT, 5 contoh | 63.98 |
| GPT-4, 5 contoh | 65.49 |
| AraT5v2, diperhalusi | 67.70 |
Dua butiran penting untuk prompt anda. Lebih banyak contoh sangat membantu. Dan prompt zero-shot serta prompt dalam bahasa Arab memberi balasan yang penuh dengan penerangan yang tidak dapat dimarkahkan secara automatik oleh penulis. Penyemak memerlukan output yang boleh dibandingkan oleh program.
Mengapa tidak normalkan sahaja teks itu?
Penormal teks Arab di laman ini membuang tashkeel dan tatweel, memetakan أ إ آ kepada ا dan, secara pilihan, ى kepada ي dan ة kepada ه. Itu langkah yang betul untuk carian, kerana pengguna yang menaip احمد sepatutnya menemui أحمد. Ia langkah yang salah sebelum pembetulan, kerana ia memadamkan perbezaan yang perlu dipulihkan oleh penyemak. Selepas penormalan, انا dan أنا ialah rentetan yang sama, jadi ralat hamzah hilang dan pembetulannya pun hilang.
Simpan tiga salinan apabila anda memerlukan kedua-duanya: teks asal, teks yang dibetulkan yang anda paparkan kepada pengguna, dan salinan ternormal bagi teks yang dibetulkan untuk indeks carian anda. Penormalan teks Arab untuk carian membincangkan bahagian pengindeksan. Satu langkah penormalan memang patut dibuat sebelum pembetulan: Unicode NFC, yang menyatukan alif terurai dan hamzah gabungan menjadi satu aksara, supaya perbandingan tidak melaporkan perubahan yang tidak wujud.
Apakah yang patut dinyatakan oleh prompt?
Minta suntingan minimum, namakan jenis ralat yang anda pedulikan, larang perubahan yang anda tidak mahu dan minta teks yang dibetulkan sahaja. Menulis arahan dalam bahasa Inggeris atau Arab terpulang kepada anda; kejuruteraan prompt bahasa Arab membincangkan pertukarannya. Kwon et al. mendapat output yang boleh digunakan daripada arahan bahasa Inggeris dengan contoh. Menambah tiga hingga lima pasangan ayat yang dibetulkan daripada data anda sendiri (few-shot) ialah penambahbaikan paling murah untuk dicuba dahulu.
Tetapkan temperature kepada 0. Anda mahu pembetulan yang sama setiap kali. Jika teks itu dialek seperti bahasa Arab Mesir atau Teluk, nyatakan sama ada dialek itu perlu dikekalkan. Prompt di bawah menganggap bahasa Arab Standard Moden (MSA) dan memberitahu model supaya tidak mengubah gaya, yang turut meliputi dialek.
Bagaimanakah anda menyemak balasan model?
Kod ini membuat satu permintaan, mengukur sejauh mana balasan berbeza daripada input, mengekstrak suntingan peringkat perkataan dan melabelkan setiap satu.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Kami menjalankannya terhadap pelayan olok-olok setempat dengan balasan sedia (tiada panggilan API langsung, kerana pelayan olok-olok memulangkan apa sahaja yang kami tulis). Untuk ذهبت الى المدرسه و قابلت المعلمه في الصباح, balasan ذهبت إلى المدرسة وقابلت المعلمة في الصباح memberi empat suntingan: الى kepada إلى (hamzah), المدرسه kepada المدرسة (taa marbuta), و قابلت kepada وقابلت (cantum) dan المعلمه kepada المعلمة (taa marbuta). Untuk مشي الي, ia menyenaraikan مشي kepada مشى (alef maqsura) dan الي kepada إلى (ortografi bercampur, kerana ia membetulkan hamzah dan alef maqsura serentak). Balasan sedia yang menukar الطقس جميل اليوم menjadi ayat dua kali lebih panjang mencatat keserupaan 0.52, jadi kod mengekalkan teks asal dan merekodkan balasan itu.
Nota tentang kod:
- Kawalan keserupaan ialah alat yang kasar. Ayat yang banyak salah ejaannya boleh jatuh hampir 0.8 secara sah. Laraskan ambang pada data anda sendiri, dan hantar balasan yang ditolak kepada manusia, bukan ke tong sampah.
max_tokens=2000memberi ruang untuk penaakulan. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab dan penaakulan dikira dalammax_tokens; anda juga boleh menetapkanreasoning_effortkepada low. Lihat respons kosong daripada model penaakulan.- Label kelas ialah peraturan, bukan penghurai. “Lain-lain” termasuk huruf yang tertinggal (مسؤل kepada مسؤول), persetujuan dan pilihan perkataan. Untuk taksonomi penuh, jalankan ARETA (di bawah) pada pasangan yang sama.
Kelas ralat manakah yang patut anda jejaki?
Penganjur QALB menamakan alif berhamzah dan kekeliruan alef maqsura/ya sebagai ralat ejaan Arab yang paling biasa. ARETA, penganotasi jenis ralat CAMeL Lab (Belkebir dan Habash, CoNLL 2021), menggunakan set tag berdasarkan Arabic Learner Corpus. Tag ortografinya termasuk OH (hamzah), OT (ha dan taa marbuta) dan OA (alif dan ya), di samping tag morfologi, sintaksis, semantik, tanda baca, cantum (MG) dan pisah (SP). Kertasnya melaporkan 85.8% F1 purata mikro berbanding teks pelajar yang dilabel secara manual.
| Kelas | Salah | Betul | Apa yang salah |
|---|---|---|---|
| Hamzah | انا، الى، مسأله | أنا، إلى، مسألة | Hamzah tiada, di tempat duduk yang salah atau di sebelah alif yang salah |
| Taa marbuta | المدرسه | المدرسة | ة akhir ditulis sebagai ه, atau sebaliknya |
| Alef maqsura | مشي، علي (kata sendi) | مشى، على | ى akhir ditulis sebagai ي; علي juga nama, jadi konteks yang menentukan |
| Cantum atau pisah | و قابلت، عبدالله | وقابلت، عبد الله | Ruang di sekitar و dan ال, nama majmuk |
| Tanda baca | ، atau ؟ tiada | ditambah | Penganotasi QALB paling kurang bersetuju tentang tanda baca |
Jejaki dapatan semula bagi setiap kelas. Model yang membetulkan taa marbuta tetapi terlepas hamzah selepas kata sendi memerlukan contoh corak itu, bukan model lain.
Bagaimanakah anda memarkahkan penyemak?
Pembetulan ralat tatabahasa dimarkahkan berdasarkan suntingan. Bandingkan suntingan yang menukar sumber kepada ayat emas yang dibetulkan secara manual dengan suntingan yang menukarnya kepada output model. Kepersisan ialah bahagian suntingan model yang sepadan dengan emas. Dapatan semula ialah bahagian suntingan emas yang dibuat oleh model. QALB melaporkan F1; kajian kemudian, termasuk Kwon et al., turut melaporkan F0.5, yang memberi pemberat dua kali ganda kepada kepersisan berbanding dapatan semula, kerana “pembetulan” yang salah lebih menjengkelkan pengguna daripada kesilapan yang terlepas.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Pada set contoh dua ayat dengan tujuh suntingan emas, di mana output terlepas cantuman dan satu taa marbuta serta menambah noktah, ia mencetak P 0.833, R 0.714 dan F0.5 0.806, dengan dapatan semula setiap kelas: hamzah 2/2, taa marbuta 2/3, cantum 0/1.
Ini idea M2, dipermudahkan. M2 scorer rasmi mencari penjajaran suntingan sistem yang paling sepadan dengan emas, jadi pembetulan yang betul tetapi dipecahkan kepada suntingan secara berbeza daripada emas tidak dihukum. Padanan tepat kami lebih ketat. Gunakan pemarkah rasmi apabila anda membandingkan dengan angka yang diterbitkan (versi pembangunnya masih memerlukan Python 2). ERRANT melakukan pengekstrakan suntingan yang sama untuk bahasa Inggeris sahaja.
Bina set emas daripada teks pengguna sebenar, 100 hingga 200 ayat, yang dibetulkan oleh seorang penganotasi yang teliti dengan peraturan suntingan minimum yang sama yang anda berikan kepada model. Jalankan setiap model dan prompt calon padanya, dan bandingkan F0.5 serta dapatan semula setiap kelas. Cara menilai LLM sebelum bertukar menerangkan cara menjalankan perbandingan itu dengan adil.
Bagaimana pula dengan Tibyan dan data sintetik?
Data pembetulan bahasa Arab berlabel adalah terhad. Alrehili dan Alhothali menyatakan bahawa QALB-14 dan QALB-15 bersama-sama hanya mengandungi kira-kira 20,500 contoh selari. Korpus Tibyan mereka (arXiv 2024, kemudian dalam PeerJ Computer Science) menggunakan ChatGPT untuk menjana pasangan ayat salah dan betul daripada buku tentang kesilapan biasa bahasa Arab, yang disemak oleh ahli bahasa. Ia mengandungi kira-kira 600,000 token, dengan tujuh jenis ralat: ortografi, morfologi, sintaksis, semantik, tanda baca, cantum dan pisah. Penulis menyatakan korpus itu awam; kami tidak menemui pautan muat turun untuk menyemak lesennya. Ia berguna untuk contoh few-shot dan ujian tekanan, tetapi ia sintetik, jadi jangan gunakannya sebagai ujian penerimaan anda.
Jika anda memerlukan garis dasar bukan LLM, repositori arabic-gec CAMeL Lab menerbitkan kod dan model daripada Alhafni et al. (EMNLP 2023). Untuk ejaan sahaja, pakej ar-corrector mencadangkan perkataan kamus dalam jarak satu atau dua suntingan; ia tidak mengendalikan tatabahasa, dan keluaran terakhirnya pada 2021.
Model BroadNet manakah yang patut anda gunakan?
Harga adalah setiap 1J token daripada halaman harga BroadNet. Output pembetulan lebih kurang sama panjang dengan input, jadi harga output penting.
| Model | Sebab | Input / output |
|---|---|---|
| Qwen3.8 27B | Penaakulan didokumenkan; BroadNet melaporkan ujian bahasa Arab termasuk kefahaman dialek Teluk dan Mesir | $0.175 / $2.17 |
| GLM 5.3 | Penaakulan didokumenkan; konteks panjang untuk dokumen penuh | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Harga output terendah antara model penaakulan di sini; juga ada pelan sesi harga rata | $0.175 / $0.52 |
| Gemma 4 VL 26B | Berjalan pada kredit permulaan $5, jadi anda boleh membina saluran sebelum tambah nilai | $0.10 / $0.22 |
Jalankan pemarkah dengan setiap model pada set emas anda dan pilih berdasarkan F0.5 dan harga. Bahasa Arab biasanya mengambil lebih banyak token setiap perkataan berbanding bahasa Inggeris; tampal sampel ke dalam pengira token bahasa Arab dan anggarkan bil dengan kalkulator kos API LLM. Untuk membaca pruf arkib yang besar: BroadNet tiada Batch API; pemprosesan kelompok tanpa Batch API menunjukkan cara menjalankannya dengan keserentakan terhad, atau pada sesi DeepSeek dengan $15 seminggu (satu permintaan pada satu masa bagi setiap sesi).
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference memberi akses serasi OpenAI kepada model di atas, jadi kod ini berjalan dengan OpenAI Python SDK selepas menukar base URL. Ia tiada endpoint pembacaan pruf dan tidak menerbitkan penanda aras pembetulan bahasa Arab sendiri, jadi ukur pada teks anda. Pernyataan privasinya menyatakan kandungan inferens tidak disimpan, yang penting apabila anda membaca pruf mesej pelanggan. Jika anda memerlukan penyemak yang dihos sendiri untuk volum yang sangat tinggi, model yang diperhalusi seperti daripada CAMeL Lab mungkin lebih murah dan lebih konsisten; skor yang diterbitkan di atas ialah sebab untuk menguji kedua-duanya.
