Proofreading bahasa Arab tampak seperti prompt satu baris: “koreksi teks ini”. Dalam praktiknya model juga memparafrasekan, menambahkan harakat, mengganti kata dialek dengan kata baku, dan menjelaskan perubahannya, sehingga Anda tidak bisa membedakan edit mana yang memang diperlukan. Artikel ini membangun korektor di atas LLM yang kompatibel dengan OpenAI yang membuat edit sesedikit mungkin, mengecek balasan di kode, memberi label setiap edit menurut jenis kesalahan, dan memberi skor seluruhnya dengan cara yang dipakai benchmark riset.
Seberapa bagus LLM dalam koreksi tata bahasa Arab?
Benchmark standarnya adalah shared task QALB. QALB-2014 memakai komentar berbahasa Arab Standar Modern dari situs web Al Jazeera: lebih dari satu juta kata teks latih dengan sekitar 306.000 koreksi, dan set tes sekitar 50.000 kata. QALB-2015 menambahkan track kedua berisi esai pelajar bahasa Arab sebagai bahasa asing (L2). Keduanya menilai sistem berdasarkan edit dengan M2 scorer. Skor terbaik, F1 (makin tinggi makin baik):
| Set tes | F1 sistem terbaik | Teks |
|---|---|---|
| Tes QALB-2014 | 67,91 | Komentar berita oleh penutur asli |
| Tes penutur asli QALB-2015 | 72,87 | Komentar berita oleh penutur asli |
| Tes L2 QALB-2015 | 41,20 | Esai pelajar |
Baris L2 adalah peringatan yang berguna. Teks pelajar punya lebih banyak kesalahan pilihan kata dan kata yang hilang, dan sistem terbaik mencetak skor jauh lebih rendah. Jika pengguna Anda pelajar, harapkan angka Anda lebih mirip baris itu.
Kwon, Bhatia, Nagoudi, dan Abdul-Mageed (ArabicNLP 2023) kemudian menjalankan ChatGPT dan GPT-4 pada set tes QALB-2014. Dengan scorer yang sama:
| Sistem | F1 |
|---|---|
| ChatGPT, 1 contoh | 53,59 |
| ChatGPT, 5 contoh | 63,98 |
| GPT-4, 5 contoh | 65,49 |
| AraT5v2, fine-tuned | 67,70 |
Dua detail penting untuk prompt Anda. Lebih banyak contoh sangat membantu. Dan prompt zero-shot serta prompt berbahasa Arab menghasilkan balasan yang penuh penjelasan, yang tidak bisa dinilai otomatis oleh penulisnya. Korektor membutuhkan output yang bisa di-diff oleh program.
Mengapa tidak menormalisasi teksnya saja?
Normalizer teks Arab di situs ini menghapus tasykil dan tatwil, memetakan أ إ آ ke ا dan, secara opsional, ى ke ي dan ة ke ه. Itu langkah yang tepat untuk pencarian, karena pengguna yang mengetik احمد seharusnya menemukan أحمد. Itu langkah yang salah sebelum koreksi, karena menghapus perbedaan yang justru harus dipulihkan korektor. Setelah normalisasi, انا dan أنا adalah string yang sama, sehingga kesalahan hamzah hilang dan begitu pula perbaikannya.
Simpan tiga salinan jika Anda membutuhkan keduanya: teks asli, teks terkoreksi yang Anda tampilkan ke pengguna, dan salinan ternormalisasi dari teks terkoreksi untuk indeks pencarian. Normalisasi teks Arab untuk pencarian membahas sisi pengindeksan. Ada satu langkah normalisasi yang memang perlu sebelum koreksi: Unicode NFC, yang menggabungkan alif terurai ditambah hamzah gabung menjadi satu karakter, agar diff tidak melaporkan perubahan yang sebenarnya tidak ada.
Apa yang harus dikatakan prompt?
Minta edit minimal, sebutkan jenis kesalahan yang Anda pedulikan, larang perubahan yang tidak Anda inginkan, dan minta teks terkoreksi saja. Menulis instruksi dalam bahasa Inggris atau Arab adalah pilihan Anda; prompt engineering bahasa Arab membahas untung-ruginya. Kwon dkk. mendapat output yang bisa dipakai dari instruksi berbahasa Inggris dengan contoh. Menambahkan tiga hingga lima pasangan kalimat terkoreksi dari data Anda sendiri (few-shot) adalah perbaikan termurah yang layak dicoba pertama kali.
Set temperature ke 0. Anda menginginkan koreksi yang sama setiap kali. Jika teksnya dialek seperti bahasa Arab Mesir atau Teluk, sebutkan apakah dialeknya dipertahankan. Prompt di bawah mengasumsikan bahasa Arab Standar Modern (MSA) dan meminta model tidak mengubah gaya, yang juga mencakup dialek.
Bagaimana mengecek balasan model?
Kode ini membuat satu permintaan, mengukur seberapa berbeda balasan dari input, mengekstrak edit tingkat kata, dan memberi label masing-masing.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Kami menjalankannya terhadap server mock lokal dengan balasan siap pakai (tanpa panggilan API live, karena mock mengembalikan apa pun yang kami tulis). Untuk ذهبت الى المدرسه و قابلت المعلمه في الصباح, balasan ذهبت إلى المدرسة وقابلت المعلمة في الصباح menghasilkan empat edit: الى ke إلى (hamzah), المدرسه ke المدرسة (ta marbutah), و قابلت ke وقابلت (gabung), dan المعلمه ke المعلمة (ta marbutah). Untuk مشي الي, kode mencantumkan مشي ke مشى (alif maqsurah) dan الي ke إلى (ortografi campuran, karena memperbaiki hamzah dan alif maqsurah sekaligus). Balasan siap pakai yang mengubah الطقس جميل اليوم menjadi kalimat dua kali lebih panjang mencetak kemiripan 0.52, sehingga kode mempertahankan teks asli dan mencatat balasannya di log.
Catatan tentang kode:
- Pengaman kemiripan adalah alat yang kasar. Kalimat yang banyak salah ejaannya bisa saja sah berada di sekitar 0.8. Setel ambangnya pada data Anda sendiri, dan kirim balasan yang ditolak ke manusia, bukan ke tempat sampah.
max_tokens=2000menyisakan ruang untuk penalaran. Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab dan penalaran itu dihitung kemax_tokens; Anda juga bisa setreasoning_effortke low. Lihat respons kosong dari model penalaran.- Label kelas adalah aturan, bukan parser. “Lainnya” mencakup huruf yang hilang (مسؤل ke مسؤول), kesesuaian (agreement), dan pilihan kata. Untuk taksonomi lengkap, jalankan ARETA (di bawah) pada pasangan yang sama.
Kelas kesalahan mana yang perlu Anda pantau?
Penyelenggara QALB menyebut alif berhamzah dan kerancuan alif maqsurah/ya sebagai kesalahan ejaan Arab yang paling umum. ARETA, anotator jenis kesalahan dari CAMeL Lab (Belkebir dan Habash, CoNLL 2021), memakai tagset berdasarkan Arabic Learner Corpus. Tag ortografinya mencakup OH (hamzah), OT (ha dan ta marbutah), dan OA (alif dan ya), di samping tag morfologi, sintaksis, semantik, tanda baca, gabung (MG), dan pisah (SP). Paper-nya melaporkan micro-average F1 85,8% terhadap teks pelajar yang dilabeli manual.
| Kelas | Salah | Benar | Apa yang salah |
|---|---|---|---|
| Hamzah | انا، الى، مسأله | أنا، إلى، مسألة | Hamzah hilang, di dudukan yang salah, atau di sisi alif yang salah |
| Ta marbutah | المدرسه | المدرسة | ة di akhir kata ditulis sebagai ه, atau sebaliknya |
| Alif maqsurah | مشي، علي (preposisi) | مشى، على | ى di akhir kata ditulis sebagai ي; علي juga sebuah nama, jadi konteks yang menentukan |
| Gabung atau pisah | و قابلت، عبدالله | وقابلت، عبد الله | Spasi di sekitar و dan ال, nama majemuk |
| Tanda baca | ، atau ؟ hilang | ditambahkan | Anotator QALB paling sedikit sepakat soal tanda baca |
Pantau recall per kelas. Model yang memperbaiki ta marbutah tetapi melewatkan hamzah setelah preposisi membutuhkan contoh pola itu, bukan model lain.
Bagaimana memberi skor pada korektor?
Koreksi kesalahan tata bahasa (GEC) dinilai berdasarkan edit. Bandingkan edit yang mengubah sumber menjadi kalimat gold yang dikoreksi manual dengan edit yang mengubahnya menjadi output model. Precision adalah porsi edit model yang cocok dengan gold. Recall adalah porsi edit gold yang dibuat model. QALB melaporkan F1; karya selanjutnya, termasuk Kwon dkk., juga melaporkan F0.5, yang memberi bobot precision dua kali lipat recall, karena “koreksi” yang salah lebih mengganggu pengguna daripada koreksi yang terlewat.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Pada set mainan dua kalimat dengan tujuh edit gold, di mana output melewatkan penggabungan dan satu ta marbutah serta menambahkan titik, skrip mencetak P 0.833, R 0.714, dan F0.5 0.806, dengan recall per kelas: hamzah 2/2, ta marbutah 2/3, gabung 0/1.
Ini ide M2 yang disederhanakan. M2 scorer resmi mencari penyelarasan edit sistem yang paling cocok dengan gold, sehingga perbaikan yang benar tetapi dipecah menjadi edit dengan cara berbeda dari gold tidak dihukum. Pencocokan persis kami lebih ketat. Pakai scorer resmi saat Anda membandingkan dengan angka yang dipublikasikan (versi developernya masih membutuhkan Python 2). ERRANT melakukan ekstraksi edit yang sama hanya untuk bahasa Inggris.
Bangun set gold dari teks pengguna nyata, 100 hingga 200 kalimat, dikoreksi oleh satu anotator yang teliti dengan aturan edit minimal yang sama seperti yang Anda berikan ke model. Jalankan setiap kandidat model dan prompt pada set itu, lalu bandingkan F0.5 dan recall per kelas. Cara mengevaluasi LLM sebelum beralih membahas cara menjalankan perbandingan itu secara adil.
Bagaimana dengan Tibyan dan data sintetis?
Data koreksi bahasa Arab berlabel masih langka. Alrehili dan Alhothali mencatat bahwa QALB-14 dan QALB-15 bersama-sama berisi sekitar 20.500 contoh paralel. Korpus Tibyan mereka (arXiv 2024, kemudian di PeerJ Computer Science) memakai ChatGPT untuk menghasilkan pasangan kalimat salah dan benar dari buku-buku tentang kesalahan umum bahasa Arab, yang ditinjau oleh ahli bahasa. Korpus ini berisi sekitar 600.000 token, dengan tujuh jenis kesalahan: ortografi, morfologi, sintaksis, semantik, tanda baca, gabung, dan pisah. Penulisnya menyatakan korpus ini publik; kami tidak menemukan tautan unduhan untuk mengecek lisensinya. Korpus ini berguna untuk contoh few-shot dan stress test, tetapi sintetis, jadi jangan dipakai sebagai tes penerimaan Anda.
Jika Anda membutuhkan baseline non-LLM, repositori arabic-gec dari CAMeL Lab menerbitkan kode dan model dari Alhafni dkk. (EMNLP 2023). Untuk ejaan saja, paket ar-corrector menyarankan kata kamus dalam jarak satu atau dua edit; paket ini tidak menangani tata bahasa, dan rilis terakhirnya pada 2021.
Model BroadNet mana yang sebaiknya Anda pakai?
Harga per 1 juta token dari halaman harga BroadNet. Output koreksi kira-kira sepanjang input, jadi harga output penting.
| Model | Alasan | Input / output |
|---|---|---|
| Qwen3.8 27B | Penalaran terdokumentasi; BroadNet melaporkan pengujian bahasa Arab termasuk pemahaman dialek Teluk dan Mesir | $0.175 / $2.17 |
| GLM 5.3 | Penalaran terdokumentasi; konteks panjang untuk dokumen utuh | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Harga output terendah di antara model penalaran di sini; juga tersedia di paket sesi harga tetap | $0.175 / $0.52 |
| Gemma 4 VL 26B | Bisa dipakai dengan kredit awal $5, jadi Anda bisa membangun pipeline sebelum top up | $0.10 / $0.22 |
Jalankan scorer dengan setiap model pada set gold Anda dan pilih berdasarkan F0.5 dan harga. Bahasa Arab biasanya memakan lebih banyak token per kata dibanding bahasa Inggris; tempel sampel ke penghitung token bahasa Arab dan perkirakan tagihannya dengan kalkulator biaya API LLM. Untuk mengoreksi arsip besar: BroadNet tidak punya Batch API; pemrosesan batch tanpa Batch API menunjukkan cara menjalankannya dengan konkurensi terbatas, atau di sesi DeepSeek seharga $15 per minggu (satu permintaan sekaligus per sesi).
Di mana posisi BroadNet Inference?
BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference memberi akses yang kompatibel dengan OpenAI ke model-model di atas, jadi kodenya berjalan dengan OpenAI Python SDK setelah base URL diganti. BroadNet tidak punya endpoint proofreading dan tidak menerbitkan benchmark koreksi bahasa Arab sendiri, jadi ukur pada teks Anda. Pernyataan privasinya menyebutkan konten inferensi tidak disimpan, yang penting saat Anda mengoreksi pesan pelanggan. Jika Anda membutuhkan korektor yang di-host sendiri untuk volume sangat tinggi, model hasil fine-tuning seperti milik CAMeL Lab bisa lebih murah dan lebih konsisten; skor yang dipublikasikan di atas adalah alasan untuk menguji keduanya.
