BroadRouter

Koreksi tata bahasa dan ejaan Arab dengan LLM: panduan praktis

Oleh tim BroadNet Inference · 8 menit baca · Dipublikasikan · Diperbarui

Minta model memberikan teks yang sudah dikoreksi saja, dengan edit sesedikit mungkin dan tanpa parafrase. Lalu bandingkan balasan dengan input di kode: tolak balasan yang berubah terlalu banyak, dan beri label setiap edit tingkat kata sebagai hamzah, ta marbutah, alif maqsurah, gabung, pisah, atau lainnya. Beri skor pada sampel yang dikoreksi manual berdasarkan edit, dengan precision, recall, dan F0.5.

Proofreading bahasa Arab tampak seperti prompt satu baris: “koreksi teks ini”. Dalam praktiknya model juga memparafrasekan, menambahkan harakat, mengganti kata dialek dengan kata baku, dan menjelaskan perubahannya, sehingga Anda tidak bisa membedakan edit mana yang memang diperlukan. Artikel ini membangun korektor di atas LLM yang kompatibel dengan OpenAI yang membuat edit sesedikit mungkin, mengecek balasan di kode, memberi label setiap edit menurut jenis kesalahan, dan memberi skor seluruhnya dengan cara yang dipakai benchmark riset.

Seberapa bagus LLM dalam koreksi tata bahasa Arab?

Benchmark standarnya adalah shared task QALB. QALB-2014 memakai komentar berbahasa Arab Standar Modern dari situs web Al Jazeera: lebih dari satu juta kata teks latih dengan sekitar 306.000 koreksi, dan set tes sekitar 50.000 kata. QALB-2015 menambahkan track kedua berisi esai pelajar bahasa Arab sebagai bahasa asing (L2). Keduanya menilai sistem berdasarkan edit dengan M2 scorer. Skor terbaik, F1 (makin tinggi makin baik):

Set tes F1 sistem terbaik Teks
Tes QALB-2014 67,91 Komentar berita oleh penutur asli
Tes penutur asli QALB-2015 72,87 Komentar berita oleh penutur asli
Tes L2 QALB-2015 41,20 Esai pelajar

Baris L2 adalah peringatan yang berguna. Teks pelajar punya lebih banyak kesalahan pilihan kata dan kata yang hilang, dan sistem terbaik mencetak skor jauh lebih rendah. Jika pengguna Anda pelajar, harapkan angka Anda lebih mirip baris itu.

Kwon, Bhatia, Nagoudi, dan Abdul-Mageed (ArabicNLP 2023) kemudian menjalankan ChatGPT dan GPT-4 pada set tes QALB-2014. Dengan scorer yang sama:

Sistem F1
ChatGPT, 1 contoh 53,59
ChatGPT, 5 contoh 63,98
GPT-4, 5 contoh 65,49
AraT5v2, fine-tuned 67,70

Dua detail penting untuk prompt Anda. Lebih banyak contoh sangat membantu. Dan prompt zero-shot serta prompt berbahasa Arab menghasilkan balasan yang penuh penjelasan, yang tidak bisa dinilai otomatis oleh penulisnya. Korektor membutuhkan output yang bisa di-diff oleh program.

Mengapa tidak menormalisasi teksnya saja?

Normalizer teks Arab di situs ini menghapus tasykil dan tatwil, memetakan أ إ آ ke ا dan, secara opsional, ى ke ي dan ة ke ه. Itu langkah yang tepat untuk pencarian, karena pengguna yang mengetik احمد seharusnya menemukan أحمد. Itu langkah yang salah sebelum koreksi, karena menghapus perbedaan yang justru harus dipulihkan korektor. Setelah normalisasi, انا dan أنا adalah string yang sama, sehingga kesalahan hamzah hilang dan begitu pula perbaikannya.

Simpan tiga salinan jika Anda membutuhkan keduanya: teks asli, teks terkoreksi yang Anda tampilkan ke pengguna, dan salinan ternormalisasi dari teks terkoreksi untuk indeks pencarian. Normalisasi teks Arab untuk pencarian membahas sisi pengindeksan. Ada satu langkah normalisasi yang memang perlu sebelum koreksi: Unicode NFC, yang menggabungkan alif terurai ditambah hamzah gabung menjadi satu karakter, agar diff tidak melaporkan perubahan yang sebenarnya tidak ada.

Apa yang harus dikatakan prompt?

Minta edit minimal, sebutkan jenis kesalahan yang Anda pedulikan, larang perubahan yang tidak Anda inginkan, dan minta teks terkoreksi saja. Menulis instruksi dalam bahasa Inggris atau Arab adalah pilihan Anda; prompt engineering bahasa Arab membahas untung-ruginya. Kwon dkk. mendapat output yang bisa dipakai dari instruksi berbahasa Inggris dengan contoh. Menambahkan tiga hingga lima pasangan kalimat terkoreksi dari data Anda sendiri (few-shot) adalah perbaikan termurah yang layak dicoba pertama kali.

Set temperature ke 0. Anda menginginkan koreksi yang sama setiap kali. Jika teksnya dialek seperti bahasa Arab Mesir atau Teluk, sebutkan apakah dialeknya dipertahankan. Prompt di bawah mengasumsikan bahasa Arab Standar Modern (MSA) dan meminta model tidak mengubah gaya, yang juga mencakup dialek.

Bagaimana mengecek balasan model?

Kode ini membuat satu permintaan, mengukur seberapa berbeda balasan dari input, mengekstrak edit tingkat kata, dan memberi label masing-masing.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

Kami menjalankannya terhadap server mock lokal dengan balasan siap pakai (tanpa panggilan API live, karena mock mengembalikan apa pun yang kami tulis). Untuk ذهبت الى المدرسه و قابلت المعلمه في الصباح, balasan ذهبت إلى المدرسة وقابلت المعلمة في الصباح menghasilkan empat edit: الى ke إلى (hamzah), المدرسه ke المدرسة (ta marbutah), و قابلت ke وقابلت (gabung), dan المعلمه ke المعلمة (ta marbutah). Untuk مشي الي, kode mencantumkan مشي ke مشى (alif maqsurah) dan الي ke إلى (ortografi campuran, karena memperbaiki hamzah dan alif maqsurah sekaligus). Balasan siap pakai yang mengubah الطقس جميل اليوم menjadi kalimat dua kali lebih panjang mencetak kemiripan 0.52, sehingga kode mempertahankan teks asli dan mencatat balasannya di log.

Catatan tentang kode:

  • Pengaman kemiripan adalah alat yang kasar. Kalimat yang banyak salah ejaannya bisa saja sah berada di sekitar 0.8. Setel ambangnya pada data Anda sendiri, dan kirim balasan yang ditolak ke manusia, bukan ke tempat sampah.
  • max_tokens=2000 menyisakan ruang untuk penalaran. Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B melakukan penalaran sebelum menjawab dan penalaran itu dihitung ke max_tokens; Anda juga bisa set reasoning_effort ke low. Lihat respons kosong dari model penalaran.
  • Label kelas adalah aturan, bukan parser. “Lainnya” mencakup huruf yang hilang (مسؤل ke مسؤول), kesesuaian (agreement), dan pilihan kata. Untuk taksonomi lengkap, jalankan ARETA (di bawah) pada pasangan yang sama.

Kelas kesalahan mana yang perlu Anda pantau?

Penyelenggara QALB menyebut alif berhamzah dan kerancuan alif maqsurah/ya sebagai kesalahan ejaan Arab yang paling umum. ARETA, anotator jenis kesalahan dari CAMeL Lab (Belkebir dan Habash, CoNLL 2021), memakai tagset berdasarkan Arabic Learner Corpus. Tag ortografinya mencakup OH (hamzah), OT (ha dan ta marbutah), dan OA (alif dan ya), di samping tag morfologi, sintaksis, semantik, tanda baca, gabung (MG), dan pisah (SP). Paper-nya melaporkan micro-average F1 85,8% terhadap teks pelajar yang dilabeli manual.

Kelas Salah Benar Apa yang salah
Hamzah انا، الى، مسأله أنا، إلى، مسألة Hamzah hilang, di dudukan yang salah, atau di sisi alif yang salah
Ta marbutah المدرسه المدرسة ة di akhir kata ditulis sebagai ه, atau sebaliknya
Alif maqsurah مشي، علي (preposisi) مشى، على ى di akhir kata ditulis sebagai ي; علي juga sebuah nama, jadi konteks yang menentukan
Gabung atau pisah و قابلت، عبدالله وقابلت، عبد الله Spasi di sekitar و dan ال, nama majemuk
Tanda baca ، atau ؟ hilang ditambahkan Anotator QALB paling sedikit sepakat soal tanda baca

Pantau recall per kelas. Model yang memperbaiki ta marbutah tetapi melewatkan hamzah setelah preposisi membutuhkan contoh pola itu, bukan model lain.

Bagaimana memberi skor pada korektor?

Koreksi kesalahan tata bahasa (GEC) dinilai berdasarkan edit. Bandingkan edit yang mengubah sumber menjadi kalimat gold yang dikoreksi manual dengan edit yang mengubahnya menjadi output model. Precision adalah porsi edit model yang cocok dengan gold. Recall adalah porsi edit gold yang dibuat model. QALB melaporkan F1; karya selanjutnya, termasuk Kwon dkk., juga melaporkan F0.5, yang memberi bobot precision dua kali lipat recall, karena “koreksi” yang salah lebih mengganggu pengguna daripada koreksi yang terlewat.

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

Pada set mainan dua kalimat dengan tujuh edit gold, di mana output melewatkan penggabungan dan satu ta marbutah serta menambahkan titik, skrip mencetak P 0.833, R 0.714, dan F0.5 0.806, dengan recall per kelas: hamzah 2/2, ta marbutah 2/3, gabung 0/1.

Ini ide M2 yang disederhanakan. M2 scorer resmi mencari penyelarasan edit sistem yang paling cocok dengan gold, sehingga perbaikan yang benar tetapi dipecah menjadi edit dengan cara berbeda dari gold tidak dihukum. Pencocokan persis kami lebih ketat. Pakai scorer resmi saat Anda membandingkan dengan angka yang dipublikasikan (versi developernya masih membutuhkan Python 2). ERRANT melakukan ekstraksi edit yang sama hanya untuk bahasa Inggris.

Bangun set gold dari teks pengguna nyata, 100 hingga 200 kalimat, dikoreksi oleh satu anotator yang teliti dengan aturan edit minimal yang sama seperti yang Anda berikan ke model. Jalankan setiap kandidat model dan prompt pada set itu, lalu bandingkan F0.5 dan recall per kelas. Cara mengevaluasi LLM sebelum beralih membahas cara menjalankan perbandingan itu secara adil.

Bagaimana dengan Tibyan dan data sintetis?

Data koreksi bahasa Arab berlabel masih langka. Alrehili dan Alhothali mencatat bahwa QALB-14 dan QALB-15 bersama-sama berisi sekitar 20.500 contoh paralel. Korpus Tibyan mereka (arXiv 2024, kemudian di PeerJ Computer Science) memakai ChatGPT untuk menghasilkan pasangan kalimat salah dan benar dari buku-buku tentang kesalahan umum bahasa Arab, yang ditinjau oleh ahli bahasa. Korpus ini berisi sekitar 600.000 token, dengan tujuh jenis kesalahan: ortografi, morfologi, sintaksis, semantik, tanda baca, gabung, dan pisah. Penulisnya menyatakan korpus ini publik; kami tidak menemukan tautan unduhan untuk mengecek lisensinya. Korpus ini berguna untuk contoh few-shot dan stress test, tetapi sintetis, jadi jangan dipakai sebagai tes penerimaan Anda.

Jika Anda membutuhkan baseline non-LLM, repositori arabic-gec dari CAMeL Lab menerbitkan kode dan model dari Alhafni dkk. (EMNLP 2023). Untuk ejaan saja, paket ar-corrector menyarankan kata kamus dalam jarak satu atau dua edit; paket ini tidak menangani tata bahasa, dan rilis terakhirnya pada 2021.

Model BroadNet mana yang sebaiknya Anda pakai?

Harga per 1 juta token dari halaman harga BroadNet. Output koreksi kira-kira sepanjang input, jadi harga output penting.

Model Alasan Input / output
Qwen3.8 27B Penalaran terdokumentasi; BroadNet melaporkan pengujian bahasa Arab termasuk pemahaman dialek Teluk dan Mesir $0.175 / $2.17
GLM 5.3 Penalaran terdokumentasi; konteks panjang untuk dokumen utuh $0.78 / $3.46
DeepSeek V4.1 Flash Harga output terendah di antara model penalaran di sini; juga tersedia di paket sesi harga tetap $0.175 / $0.52
Gemma 4 VL 26B Bisa dipakai dengan kredit awal $5, jadi Anda bisa membangun pipeline sebelum top up $0.10 / $0.22

Jalankan scorer dengan setiap model pada set gold Anda dan pilih berdasarkan F0.5 dan harga. Bahasa Arab biasanya memakan lebih banyak token per kata dibanding bahasa Inggris; tempel sampel ke penghitung token bahasa Arab dan perkirakan tagihannya dengan kalkulator biaya API LLM. Untuk mengoreksi arsip besar: BroadNet tidak punya Batch API; pemrosesan batch tanpa Batch API menunjukkan cara menjalankannya dengan konkurensi terbatas, atau di sesi DeepSeek seharga $15 per minggu (satu permintaan sekaligus per sesi).

Di mana posisi BroadNet Inference?

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference memberi akses yang kompatibel dengan OpenAI ke model-model di atas, jadi kodenya berjalan dengan OpenAI Python SDK setelah base URL diganti. BroadNet tidak punya endpoint proofreading dan tidak menerbitkan benchmark koreksi bahasa Arab sendiri, jadi ukur pada teks Anda. Pernyataan privasinya menyebutkan konten inferensi tidak disimpan, yang penting saat Anda mengoreksi pesan pelanggan. Jika Anda membutuhkan korektor yang di-host sendiri untuk volume sangat tinggi, model hasil fine-tuning seperti milik CAMeL Lab bisa lebih murah dan lebih konsisten; skor yang dipublikasikan di atas adalah alasan untuk menguji keduanya.

Pertanyaan umum

Bisakah ChatGPT atau LLM lain mengoreksi tata bahasa Arab?

Bisa, dengan batasan. Dalam tes yang dipublikasikan pada benchmark QALB-2014, GPT-4 dengan lima contoh mencapai 65,49 F1, mendekati tetapi di bawah AraT5v2 hasil fine-tuning di 67,70. Pakai prompt edit minimal, cek balasan di kode, dan ukur pada sampel teks Anda sendiri.

Apa saja kesalahan ejaan Arab yang paling umum?

Hamzah pada alif (انا untuk أنا, الى untuk إلى), alif maqsurah yang ditulis sebagai ya (مشي untuk مشى), ta marbutah yang ditulis sebagai ha (المدرسه untuk المدرسة), serta kata yang salah dipisah atau digabung, seperti و قابلت untuk وقابلت. Penyelenggara QALB menyebut alif berhamzah dan kerancuan alif maqsurah/ya sebagai yang paling umum.

Apakah normalisasi teks Arab sama dengan koreksi ejaan?

Tidak. Normalisasi sengaja menyatukan varian ejaan, seperti أ dan ا, agar pencarian dan pencocokan mengabaikannya. Koreksi memutuskan varian mana yang benar sesuai konteks. Jalankan koreksi pada teks asli, dan normalisasi hanya salinan yang Anda indeks untuk pencarian.

Bagaimana cara mengevaluasi korektor tata bahasa Arab?

Koreksi 100 hingga 200 kalimat nyata secara manual dengan edit minimal. Ekstrak edit tingkat kata dari sumber ke gold dan dari sumber ke output model, lalu hitung edit yang cocok untuk precision, recall, dan F0.5. M2 scorer yang dipakai QALB melakukan ini dengan penyelarasan edit yang lebih cerdas.

Apakah ada library pemeriksa tata bahasa Arab untuk Python?

Untuk ejaan saja, ar-corrector menyarankan kata kamus dalam jarak satu atau dua edit. Untuk tata bahasa, CAMeL Lab menerbitkan model dan kode GEC riset (arabic-gec). API LLM adalah cara tercepat untuk memulai; model hasil fine-tuning bisa lebih konsisten pada volume tinggi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity

Sumber