BroadRouter

Sửa ngữ pháp và chính tả tiếng Ả Rập bằng LLM: hướng dẫn

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày · Cập nhật

Hãy yêu cầu model chỉ trả văn bản đã sửa, với ít chỉnh sửa nhất và không diễn đạt lại. Sau đó dùng code so câu trả lời với input: loại câu trả lời sửa quá nhiều, và gắn nhãn từng chỉnh sửa theo từ là hamza, taa marbuta, alef maqsura, gộp, tách hoặc khác. Chấm một mẫu sửa tay theo chỉnh sửa, với precision, recall và F0.5.

Hiệu đính tiếng Ả Rập trông như một prompt một dòng: “hãy sửa văn bản này”. Thực tế model còn diễn đạt lại, thêm dấu, đổi từ phương ngữ thành từ trang trọng và giải thích các thay đổi, khiến bạn không biết chỉnh sửa nào là cần thiết. Bài này xây một công cụ sửa lỗi trên LLM tương thích OpenAI: chỉnh sửa ít nhất, kiểm tra câu trả lời bằng code, gắn nhãn từng chỉnh sửa theo loại lỗi và chấm điểm toàn bộ theo cách các benchmark nghiên cứu vẫn làm.

LLM sửa ngữ pháp tiếng Ả Rập giỏi đến đâu?

Benchmark chuẩn là các QALB shared task. QALB-2014 dùng bình luận bằng tiếng Ả Rập chuẩn hiện đại trên website Al Jazeera: hơn một triệu từ văn bản huấn luyện với khoảng 306.000 chỉnh sửa, và các tập test khoảng 50.000 từ. QALB-2015 thêm nhánh thứ hai gồm bài luận của người học tiếng Ả Rập như ngoại ngữ (L2). Cả hai chấm hệ thống theo chỉnh sửa bằng M2 scorer. Điểm cao nhất, F1 (càng cao càng tốt):

Tập test F1 của hệ thống tốt nhất Văn bản
QALB-2014 test 67,91 Bình luận tin tức của người bản ngữ
QALB-2015 test bản ngữ 72,87 Bình luận tin tức của người bản ngữ
QALB-2015 test L2 41,20 Bài luận của người học

Dòng L2 là lời cảnh báo hữu ích. Văn bản của người học có nhiều lỗi chọn từ và thiếu từ hơn, và hệ thống tốt nhất đạt điểm thấp hơn nhiều. Nếu người dùng của bạn là người học, hãy dự kiến con số của bạn giống dòng đó hơn.

Sau đó Kwon, Bhatia, Nagoudi và Abdul-Mageed (ArabicNLP 2023) chạy ChatGPT và GPT-4 trên tập test QALB-2014. Với cùng công cụ chấm:

Hệ thống F1
ChatGPT, 1 ví dụ 53,59
ChatGPT, 5 ví dụ 63,98
GPT-4, 5 ví dụ 65,49
AraT5v2, fine-tune 67,70

Hai chi tiết quan trọng cho prompt của bạn. Thêm ví dụ giúp rất nhiều. Và prompt zero-shot cùng prompt viết bằng tiếng Ả Rập cho ra câu trả lời đầy lời giải thích mà các tác giả không thể chấm tự động. Công cụ sửa lỗi cần output mà chương trình diff được.

Sao không chỉ chuẩn hóa văn bản?

Công cụ chuẩn hóa văn bản tiếng Ả Rập trên trang này xóa tashkeel và tatweel, đổi أ إ آ thành ا và, tùy chọn, ى thành ي và ة thành ه. Đó là bước đúng cho tìm kiếm, vì người gõ احمد phải tìm thấy أحمد. Nhưng đó là bước sai trước khi sửa lỗi, vì nó xóa đúng sự phân biệt mà công cụ sửa lỗi phải khôi phục. Sau khi chuẩn hóa, انا và أنا là cùng một chuỗi, nên lỗi hamza biến mất và cách sửa cũng vậy.

Khi cần cả hai, hãy giữ ba bản: văn bản gốc, văn bản đã sửa để hiển thị cho người dùng, và một bản đã chuẩn hóa của văn bản đã sửa cho chỉ mục tìm kiếm. Chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm nói về phía lập chỉ mục. Có một bước chuẩn hóa nên làm trước khi sửa: Unicode NFC, gộp alif tách rời cộng hamza kết hợp thành một ký tự, để diff không báo một thay đổi không có thật.

Prompt nên viết gì?

Hãy yêu cầu chỉnh sửa tối thiểu, nêu các loại lỗi bạn quan tâm, cấm những thay đổi bạn không muốn và chỉ yêu cầu văn bản đã sửa. Viết chỉ dẫn bằng tiếng Anh hay tiếng Ả Rập là tùy bạn; prompt engineering cho tiếng Ả Rập bàn về sự đánh đổi này. Kwon và cộng sự nhận được output dùng được từ chỉ dẫn tiếng Anh kèm ví dụ. Thêm ba đến năm cặp câu đã sửa từ dữ liệu của bạn (few-shot) là cải tiến rẻ nhất nên thử trước.

Đặt temperature là 0. Bạn muốn cùng một cách sửa mỗi lần. Nếu văn bản là phương ngữ như tiếng Ả Rập Ai Cập hay vùng Vịnh, hãy nói rõ có giữ phương ngữ không. Prompt dưới đây giả định tiếng Ả Rập chuẩn hiện đại (MSA) và dặn model không đổi văn phong, điều này cũng bao gồm phương ngữ.

Kiểm tra câu trả lời của model thế nào?

Code gửi một request, đo mức độ khác biệt giữa câu trả lời và input, trích các chỉnh sửa theo từ và gắn nhãn cho từng cái.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

Chúng tôi chạy nó với một mock server cục bộ trả câu trả lời soạn sẵn (không gọi API thật, vì mock trả về đúng những gì chúng tôi viết). Với ذهبت الى المدرسه و قابلت المعلمه في الصباح, câu trả lời ذهبت إلى المدرسة وقابلت المعلمة في الصباح cho ra bốn chỉnh sửa: الى thành إلى (hamza), المدرسه thành المدرسة (taa marbuta), و قابلت thành وقابلت (gộp) và المعلمه thành المعلمة (taa marbuta). Với مشي الي, nó liệt kê مشي thành مشى (alef maqsura) và الي thành إلى (chính tả hỗn hợp, vì sửa cả hamza và alef maqsura cùng lúc). Một câu trả lời soạn sẵn biến الطقس جميل اليوم thành một câu dài gấp đôi có độ tương đồng 0,52, nên code giữ bản gốc và ghi log câu trả lời.

Ghi chú về code:

  • Ngưỡng tương đồng là công cụ thô. Một câu sai chính tả nặng có thể hợp lệ mà vẫn rơi gần 0,8. Hãy chỉnh ngưỡng trên dữ liệu của bạn, và gửi các câu trả lời bị loại cho người xem, đừng vứt đi.
  • max_tokens=2000 chừa chỗ cho suy luận. Tài liệu BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời và phần suy luận tính vào max_tokens; bạn cũng có thể đặt reasoning_effort là low. Xem phản hồi rỗng từ model suy luận.
  • Nhãn loại lỗi là quy tắc, không phải parser. “Khác” bao gồm thiếu chữ cái (مسؤل thành مسؤول), hòa hợp và chọn từ. Để có phân loại đầy đủ, hãy chạy ARETA (bên dưới) trên cùng các cặp.

Nên theo dõi những loại lỗi nào?

Ban tổ chức QALB nêu alif có hamza và nhầm lẫn alef maqsura/ya là các lỗi chính tả tiếng Ả Rập phổ biến nhất. ARETA, công cụ gắn nhãn loại lỗi của CAMeL Lab (Belkebir và Habash, CoNLL 2021), dùng bộ nhãn dựa trên Arabic Learner Corpus. Các nhãn chính tả gồm OH (hamza), OT (ha và taa marbuta) và OA (alif và ya), bên cạnh các nhãn hình thái, cú pháp, ngữ nghĩa, dấu câu, gộp (MG) và tách (SP). Bài báo của nó báo cáo F1 micro-average 85,8% so với văn bản người học được gắn nhãn thủ công.

Loại Sai Đúng Sai ở đâu
Hamza انا، الى، مسأله أنا، إلى، مسألة Thiếu hamza, sai vị trí đặt hoặc nằm sai phía của alif
Taa marbuta المدرسه المدرسة ة cuối viết thành ه, hoặc ngược lại
Alef maqsura مشي، علي (giới từ) مشى، على ى cuối viết thành ي; علي cũng là tên người, nên ngữ cảnh quyết định
Gộp hoặc tách و قابلت، عبدالله وقابلت، عبد الله Khoảng trắng quanh و và ال, tên ghép
Dấu câu thiếu ، hoặc ؟ thêm vào Người gắn nhãn QALB ít đồng thuận nhất về dấu câu

Hãy theo dõi recall theo từng loại. Một model sửa được taa marbuta nhưng bỏ sót hamza sau giới từ cần ví dụ cho mẫu đó, chứ không cần model khác.

Chấm điểm công cụ sửa lỗi thế nào?

Sửa lỗi ngữ pháp (GEC) được chấm theo chỉnh sửa. So các chỉnh sửa biến câu gốc thành câu chuẩn đã sửa tay với các chỉnh sửa biến nó thành output của model. Precision là tỷ lệ chỉnh sửa của model khớp với bản chuẩn. Recall là tỷ lệ chỉnh sửa chuẩn mà model đã làm. QALB báo cáo F1; các nghiên cứu sau, gồm Kwon và cộng sự, còn báo cáo F0.5, chỉ số coi trọng precision gấp đôi recall, vì một “sửa lỗi” sai làm người dùng khó chịu hơn một lỗi bị bỏ sót.

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

Trên một tập mẫu hai câu với bảy chỉnh sửa chuẩn, trong đó output bỏ sót phép gộp và một taa marbuta, lại thêm một dấu chấm, nó in P 0,833, R 0,714 và F0.5 0,806, với recall theo loại: hamza 2/2, taa marbuta 2/3, gộp 0/1.

Đây là ý tưởng M2, đã đơn giản hóa. M2 scorer chính thức tìm cách căn chỉnh các chỉnh sửa của hệ thống khớp nhất với bản chuẩn, nên một cách sửa đúng nhưng được tách thành chỉnh sửa khác với bản chuẩn sẽ không bị phạt. Cách khớp chính xác của chúng tôi nghiêm hơn. Hãy dùng công cụ chấm chính thức khi so với số liệu đã công bố (bản developer vẫn cần Python 2). ERRANT trích xuất chỉnh sửa tương tự nhưng chỉ cho tiếng Anh.

Hãy xây tập chuẩn từ văn bản thật của người dùng, 100 đến 200 câu, do một người gắn nhãn cẩn thận sửa theo cùng quy tắc chỉnh sửa tối thiểu mà bạn đưa cho model. Chạy từng model và prompt ứng viên trên đó, rồi so F0.5 và recall theo loại. Cách đánh giá LLM trước khi chuyển đổi nói về cách chạy so sánh này cho công bằng.

Còn Tibyan và dữ liệu tổng hợp thì sao?

Dữ liệu sửa lỗi tiếng Ả Rập có nhãn rất hiếm. Alrehili và Alhothali chỉ ra rằng QALB-14 và QALB-15 cộng lại có khoảng 20.500 ví dụ song song. Corpus Tibyan của họ (arXiv 2024, sau đó đăng trên PeerJ Computer Science) dùng ChatGPT để sinh các cặp câu sai và câu đúng từ sách về lỗi tiếng Ả Rập thường gặp, có nhà ngôn ngữ học rà soát. Nó chứa khoảng 600.000 token, với bảy loại lỗi: chính tả, hình thái, cú pháp, ngữ nghĩa, dấu câu, gộp và tách. Các tác giả nói corpus được công khai; chúng tôi không tìm thấy link tải để kiểm tra giấy phép. Nó hữu ích cho ví dụ few-shot và stress test, nhưng là dữ liệu tổng hợp, nên đừng dùng làm bài test nghiệm thu.

Nếu cần một baseline không phải LLM, repo arabic-gec của CAMeL Lab công bố code và model từ Alhafni và cộng sự (EMNLP 2023). Nếu chỉ cần chính tả, package ar-corrector gợi ý các từ trong từ điển cách một hoặc hai chỉnh sửa; nó không xử lý ngữ pháp, và bản phát hành cuối là năm 2021.

Nên dùng model BroadNet nào?

Giá tính trên 1 triệu token, theo trang giá của BroadNet. Output của việc sửa lỗi dài gần bằng input, nên giá output là quan trọng.

Model Lý do Input / output
Qwen3.8 27B Có tài liệu về suy luận; BroadNet báo cáo đã test tiếng Ả Rập, gồm cả hiểu phương ngữ vùng Vịnh và Ai Cập $0.175 / $2.17
GLM 5.3 Có tài liệu về suy luận; context dài cho cả tài liệu $0.78 / $3.46
DeepSeek V4.1 Flash Giá output thấp nhất trong các model suy luận ở đây; có cả gói theo phiên giá cố định $0.175 / $0.52
Gemma 4 VL 26B Dùng được với tín dụng ban đầu $5, nên bạn có thể xây pipeline trước khi nạp tiền $0.10 / $0.22

Hãy chạy công cụ chấm với từng model trên tập chuẩn của bạn và chọn theo F0.5 và giá. Tiếng Ả Rập thường tốn nhiều token mỗi từ hơn tiếng Anh; hãy dán một mẫu vào công cụ đếm token tiếng Ả Rập và ước tính hóa đơn bằng công cụ tính chi phí API LLM. BroadNet không có Batch API; để hiệu đính một kho lưu trữ lớn, xử lý hàng loạt không cần Batch API chỉ cách chạy với số request đồng thời có giới hạn, hoặc trên một phiên DeepSeek giá $15 một tuần (mỗi phiên một request mỗi lúc).

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. BroadNet Inference cho truy cập tương thích OpenAI tới các model ở trên, nên code chạy được với OpenAI Python SDK sau khi đổi base URL. Dịch vụ không có endpoint hiệu đính và không công bố benchmark sửa lỗi tiếng Ả Rập riêng, nên hãy đo trên văn bản của bạn. Tuyên bố về quyền riêng tư của BroadNet nói nội dung inference không được lưu giữ, điều này quan trọng khi bạn hiệu đính tin nhắn của khách hàng. Nếu cần công cụ sửa lỗi tự host cho khối lượng rất lớn, một model fine-tune như của CAMeL Lab có thể rẻ hơn và nhất quán hơn; các điểm số đã công bố ở trên là lý do nên test cả hai.

Câu hỏi thường gặp

ChatGPT hay LLM khác có sửa được ngữ pháp tiếng Ả Rập không?

Có, nhưng có giới hạn. Trong một bài test đã công bố trên benchmark QALB-2014, GPT-4 với năm ví dụ đạt F1 65,49, gần nhưng thấp hơn AraT5v2 đã fine-tune ở mức 67,70. Hãy dùng prompt sửa tối thiểu, kiểm tra câu trả lời bằng code và đo trên một mẫu văn bản của bạn.

Lỗi chính tả tiếng Ả Rập nào phổ biến nhất?

Hamza trên alif (انا thay vì أنا, الى thay vì إلى), alef maqsura viết thành ya (مشي thay vì مشى), taa marbuta viết thành ha (المدرسه thay vì المدرسة), và từ bị tách hoặc gộp sai, như و قابلت thay vì وقابلت. Ban tổ chức QALB nêu alif có hamza và nhầm lẫn alef maqsura/ya là phổ biến nhất.

Chuẩn hóa văn bản tiếng Ả Rập có giống sửa chính tả không?

Không. Chuẩn hóa cố ý gộp các biến thể chính tả, như أ và ا, để tìm kiếm và so khớp bỏ qua chúng. Sửa lỗi thì quyết định biến thể nào đúng trong ngữ cảnh. Hãy sửa trên văn bản gốc, và chỉ chuẩn hóa bản sao dùng để lập chỉ mục tìm kiếm.

Làm sao đánh giá một công cụ sửa ngữ pháp tiếng Ả Rập?

Hãy sửa tay 100 đến 200 câu thật với chỉnh sửa tối thiểu. Trích các chỉnh sửa theo từ từ câu gốc sang bản chuẩn và từ câu gốc sang output của model, rồi đếm chỉnh sửa khớp để tính precision, recall và F0.5. M2 scorer mà QALB dùng làm việc này với cách căn chỉnh chỉnh sửa thông minh hơn.

Có thư viện Python kiểm tra ngữ pháp tiếng Ả Rập không?

Nếu chỉ cần chính tả, ar-corrector gợi ý các từ trong từ điển cách một hoặc hai chỉnh sửa. Về ngữ pháp, CAMeL Lab công bố model và code GEC nghiên cứu (arabic-gec). API LLM là cách nhanh nhất để bắt đầu; model fine-tune có thể nhất quán hơn khi khối lượng lớn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity

Nguồn