BroadRouter

用大模型做阿拉伯语语法和拼写纠错:实操指南

BroadNet Inference 团队 · 阅读约 8 分钟 · 发布于 · 更新于

让模型只返回纠正后的文本,改动尽量少、不要改写措辞。然后在代码里把回复与输入做 diff:改动过多的回复一律拒收,并把每处词级修改标注为 hamza、taa marbuta、alef maqsura、合并、拆分或其他。用人工纠正的样本按修改打分,计算精确率、召回率和 F0.5。

阿拉伯语校对看起来只要一行提示词:“纠正这段文本”。实际上,模型还会改写措辞、加注音符号、把方言词换成书面词,并解释它的改动,你根本分不清哪些修改是必要的。本文基于 OpenAI 兼容的大模型构建一个纠错器:它只做最少的修改,在代码里检查回复,按错误类型标注每处修改,并按研究基准的方式给整体打分。

大模型做阿拉伯语语法纠错的水平如何?

标准基准是 QALB 共享任务。QALB-2014 使用半岛电视台网站上的现代标准阿拉伯语评论:训练文本超过一百万词,包含约 306,000 处纠正,测试集约 50,000 词。QALB-2015 增加了第二个赛道,内容是以阿拉伯语为外语的学习者(L2)写的作文。两届都用 M2 scorer 按修改给系统打分。最佳 F1(越高越好):

测试集 最佳系统 F1 文本
QALB-2014 测试集 67.91 母语者的新闻评论
QALB-2015 母语者测试集 72.87 母语者的新闻评论
QALB-2015 L2 测试集 41.20 学习者作文

L2 那一行是有用的警示。学习者的文本有更多用词错误和漏词,最佳系统的得分也低得多。如果你的用户是学习者,你的数字会更像那一行。

随后,Kwon、Bhatia、Nagoudi 与 Abdul-Mageed(ArabicNLP 2023)在 QALB-2014 测试集上运行了 ChatGPT 和 GPT-4。使用同一个评分器:

系统 F1
ChatGPT,1 个示例 53.59
ChatGPT,5 个示例 63.98
GPT-4,5 个示例 65.49
AraT5v2,微调 67.70

有两个细节对你的提示词很重要。示例越多,效果提升越明显。而零样本提示词和用阿拉伯语写的提示词,得到的回复里充满了解释,作者无法自动评分。纠错器需要程序能够 diff 的输出。

为什么不直接规范化文本?

本站的阿拉伯语文本规范化工具会去掉 tashkeel 和 tatweel,把 أ إ آ 映射为 ا,还可以选择把 ى 映射为 ي、把 ة 映射为 ه。对搜索来说这是正确的一步,因为输入 احمد 的用户应该能找到 أحمد。但在纠错之前这是错误的一步,因为它抹掉了纠错器需要恢复的区别。规范化之后,انا 和 أنا 是同一个字符串,hamza 错误消失了,修正也随之消失。

两者都需要时,保留三份:原文、给用户看的纠正后文本,以及用于搜索索引的纠正后文本的规范化副本。索引这一侧见面向搜索的阿拉伯语文本规范化。有一步规范化确实应该放在纠错之前:Unicode NFC。它把分解形式的 alif 加组合 hamza 合并成一个字符,这样 diff 就不会报告并不存在的改动。

提示词应该怎么写?

要求最小改动,点名你关心的错误类型,禁止你不想要的改动,并要求只返回纠正后的文本。指令用英语还是阿拉伯语写,由你决定;两者的取舍见阿拉伯语提示词工程。Kwon 等人用英语指令加示例得到了可用的输出。从你自己的数据中加入三到五对纠正前后的句子(少样本),是最值得先试的低成本改进。

把 temperature 设为 0,你希望每次得到相同的纠正。如果文本是埃及或海湾等方言,要说明是否保留方言。下面的提示词假定文本是现代标准阿拉伯语(MSA),并告诉模型不要改变风格,这也涵盖了方言。

如何检查模型的回复?

代码发出一个请求,测量回复与输入的差异程度,提取词级修改并为每一处打上标签。

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

我们在返回预设回复的本地模拟服务器上运行了它(没有调用线上 API,模拟服务器返回的就是我们写好的内容)。对于 ذهبت الى المدرسه و قابلت المعلمه في الصباح,回复 ذهبت إلى المدرسة وقابلت المعلمة في الصباح 产生了四处修改:الى 改为 إلى(hamza)、المدرسه 改为 المدرسة(taa marbuta)、و قابلت 改为 وقابلت(合并)、المعلمه 改为 المعلمة(taa marbuta)。对于 مشي الي,它列出了 مشي 改为 مشى(alef maqsura)和 الي 改为 إلى(混合正字法,因为同时修正了 hamza 和 alef maqsura)。一条把 الطقس جميل اليوم 改成两倍长句子的预设回复,相似度只有 0.52,所以代码保留了原文并记录了这条回复。

关于这段代码:

  • **相似度校验是一把钝刀。**拼写错误很多的句子,相似度正当地落在 0.8 附近也是可能的。请用你自己的数据调整阈值,把被拒收的回复交给人处理,而不是直接丢掉。
  • max_tokens=2000 为思考留出空间。BroadNet 的文档说明,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入 max_tokens;也可以把 reasoning_effort 设为 low。参见思考模型返回空响应。
  • 类别标签是规则,不是句法分析器。“其他”包括漏写字母(مسؤل 改为 مسؤول)、一致关系和用词。需要完整分类体系时,用 ARETA(见下文)处理同样的句对。

应该跟踪哪些错误类别?

QALB 组织者指出,带 hamza 的 alif 以及 alef maqsura 与 ya 的混淆是最常见的阿拉伯语拼写错误。ARETA 是 CAMeL Lab 的错误类型标注工具(Belkebir 与 Habash,CoNLL 2021),使用基于 Arabic Learner Corpus 的标签集。其正字法标签包括 OH(hamza)、OT(ha 与 taa marbuta)和 OA(alif 与 ya),此外还有词法、句法、语义、标点、合并(MG)和拆分(SP)标签。论文报告,与人工标注的学习者文本相比,它的微平均 F1 为 85.8%。

类别 错误写法 正确写法 错在哪里
Hamza انا، الى، مسأله أنا، إلى، مسألة 缺少 hamza、hamza 位置不对,或写在 alif 的错误一侧
Taa marbuta المدرسه المدرسة 词尾的 ة 写成了 ه,或者反过来
Alef maqsura مشي، علي(介词) مشى، على 词尾的 ى 写成了 ي;علي 也是人名,要靠上下文判断
合并或拆分 و قابلت، عبدالله وقابلت، عبد الله و 和 ال 前后的空格、复合人名
标点 缺少 ، 或 ؟ 已补上 QALB 标注者在标点上的一致性最低

按类别跟踪召回率。如果一个模型能纠正 taa marbuta,却漏掉介词后的 hamza,它需要的是这种模式的示例,而不是换一个模型。

如何给纠错器打分?

语法纠错按修改打分。把原句变成人工纠正的标准句所需的修改,与把原句变成模型输出所需的修改进行比较。精确率是模型修改中与标准一致的比例;召回率是标准修改中被模型做出的比例。QALB 报告的是 F1;后来的研究(包括 Kwon 等人)也报告 F0.5,它对精确率的权重是召回率的两倍,因为一次错误的“纠正”比一次漏改更让用户恼火。

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

在一个包含七处标准修改的两句示例集上,输出漏掉了合并和一处 taa marbuta,又多加了一个句号,脚本输出 P 0.833、R 0.714、F0.5 0.806,各类别召回率为:hamza 2/2、taa marbuta 2/3、合并 0/1。

这是简化版的 M2 思路。官方 M2 scorer 会搜索与标准答案最匹配的系统修改对齐方式,因此即使一处正确的修正被拆分的方式与标准不同,也不会被扣分。我们的精确匹配更严格。与已发表的数字对比时,请使用官方评分器(它的开发版仍然需要 Python 2)。ERRANT 做的是同样的修改提取,但只支持英语。

用真实用户文本构建标准集,100 到 200 句,由一位细心的标注者按照你给模型的同一套最小改动规则来纠正。用它运行每个候选模型和提示词,比较 F0.5 和各类别召回率。如何公平地做这种比较,见切换模型前如何评估大模型。

Tibyan 和合成数据怎么样?

带标注的阿拉伯语纠错数据很稀缺。Alrehili 与 Alhothali 指出,QALB-14 和 QALB-15 加起来约有 20,500 个平行样本。他们的 Tibyan 语料库(arXiv 2024,后发表于 PeerJ Computer Science)用 ChatGPT 根据讲解常见阿拉伯语错误的书籍生成错误句与正确句的句对,并由语言学家审核。它约有 600,000 个 token,涵盖七种错误类型:正字法、词法、句法、语义、标点、合并和拆分。作者表示该语料库是公开的;我们没有找到下载链接来核实其许可证。它适合用作少样本示例和压力测试,但它是合成数据,不要用它作为验收测试。

如果你需要非大模型的基线,CAMeL Lab 的 arabic-gec 仓库发布了 Alhafni 等人(EMNLP 2023)的代码和模型。只查拼写的话,ar-corrector 包会给出一到两处编辑以内的词典词;它不处理语法,最后一次发布是在 2021 年。

应该用 BroadNet 的哪个模型?

价格为每百万 token,来自 BroadNet 价格页面。纠错输出与输入长度相当,所以输出价格很重要。

模型 理由 输入 / 输出
Qwen3.8 27B 文档注明支持思考;BroadNet 报告做过阿拉伯语测试,包括海湾和埃及方言理解 $0.175 / $2.17
GLM 5.3 文档注明支持思考;长上下文,可处理整篇文档 $0.78 / $3.46
DeepSeek V4.1 Flash 这里思考模型中输出价格最低;也有固定价格的会话套餐 $0.175 / $0.52
Gemma 4 VL 26B 可以用 $5 的初始额度运行,充值前就能搭好流水线 $0.10 / $0.22

用每个模型在你的标准集上运行评分器,根据 F0.5 和价格做选择。阿拉伯语每个词通常比英语消耗更多 token;把样本粘贴到阿拉伯语 token 计数器,再用 LLM API 成本计算器估算账单。如果要校对大型档案:BroadNet 没有 Batch API,没有 Batch API 时的批量处理介绍了如何在限定并发下运行,或者使用每周 $15 的 DeepSeek 会话(每个会话一次一个请求)。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 以 OpenAI 兼容方式提供上述模型,所以只要改一下 base URL,代码就能用 OpenAI Python SDK 运行。它没有校对端点,也没有发布自己的阿拉伯语纠错基准,所以请用你的文本测量。它的隐私声明表示不保留推理内容,这在校对客户消息时很重要。如果你需要一个自托管、面向极大批量的纠错器,CAMeL Lab 那样的微调模型可能更便宜、更稳定;上面已发表的分数正是两者都要测试的理由。

常见问题

ChatGPT 或其他大模型能纠正阿拉伯语语法吗?

能,但有局限。在一项基于 QALB-2014 基准的已发表测试中,给五个示例的 GPT-4 达到 65.49 F1,接近但低于微调后的 AraT5v2(67.70)。请使用最小改动提示词,在代码里检查回复,并用你自己文本的样本测量。

最常见的阿拉伯语拼写错误有哪些?

alif 上的 hamza(把 أنا 写成 انا,把 إلى 写成 الى),alef maqsura 写成 ya(把 مشى 写成 مشي),taa marbuta 写成 ha(把 المدرسة 写成 المدرسه),以及词被错误地拆开或连写,例如把 وقابلت 写成 و قابلت。QALB 组织者指出,带 hamza 的 alif 以及 alef maqsura 与 ya 的混淆最常见。

阿拉伯语文本规范化和拼写纠错是一回事吗?

不是。规范化有意合并拼写变体(例如 أ 和 ا),让搜索和匹配忽略它们。纠错则要根据上下文判断哪种写法正确。请在原文上做纠错,只对用于搜索索引的副本做规范化。

怎么评估一个阿拉伯语语法纠错器?

用最小改动原则人工纠正 100 到 200 个真实句子。分别提取原句到标准答案、原句到模型输出的词级修改,统计匹配的修改,计算精确率、召回率和 F0.5。QALB 使用的 M2 scorer 做的就是这件事,只是修改对齐更聪明。

有没有阿拉伯语语法检查的 Python 库?

只查拼写的话,ar-corrector 会给出一到两处编辑以内的词典词。语法方面,CAMeL Lab 发布了研究用的 GEC 模型和代码(arabic-gec)。大模型 API 是最快的起步方式;在大批量下,微调模型可能更稳定。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity

来源