阿拉伯语平时书写时不标短元音。读者靠上下文补上,软件却往往做不到。恢复这些符号的过程叫注音(diacritization 或 tashkeel),它会根据句子把 كتب 变成 كَتَبَ(他写了)、كُتُبٌ(书,复数)或 كُتِبَ(被写了)。本文介绍如何通过 OpenAI 兼容 API 用大模型完成注音,如何防止模型悄悄改动你的文本,以及如何把结果与专用注音工具对比评测。
什么时候需要注音符号?
- **文本转语音。**语音合成需要元音才能读准一个词。CATT 论文把文本转语音和机器翻译列为注音能够改善的应用。BroadNet Inference 没有文本转语音端点,所以在 TTS 流水线里,注音后的文本要交给另一个 TTS 服务。
- **学习者和儿童读物。**仍在学习的读者依赖这些符号。
- **有歧义的名称和术语。**专有名词、生僻词和技术术语,元音一错,意思就变了。
- **宗教和古典文本。**这里注音符号本身就是文本的一部分,自动工具只应在人工审核下补全缺失部分。
做搜索或检索时,通常不需要注音符号,而是要把它们去掉,参见面向搜索的阿拉伯语文本规范化。免费的阿拉伯语文本规范化工具可以在浏览器里完成这种去除。注音是相反的操作,而且难得多:去掉符号只需查表,加上符号则需要语法和上下文。
大模型做注音的水平如何?
有两组已发表的数字,阅读时需要谨慎:
| 系统 | CATT 基准,含格尾 DER | 不含格尾 DER | 含格尾 WER | 不含格尾 WER |
|---|---|---|---|---|
| CATT 编码器-解码器 | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT 仅编码器 | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4(据论文正文为 GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
来源:CATT 论文(2024)表 4。数值越低越好。该基准为 2023 年抓取的 742 句新闻,由两位母语专家注音,再由第三位专家检查。
在论文的第二个测试集 WikiNews(400 句)上,GPT-4 的成绩远好于其他所有系统:DER 为 0.551%。作者特别标注了这一行,并指出模型可能在训练中见过 WikiNews。这也是大模型基准测试的通病:公开的测试文本可能就在训练数据里。CATT 的作者对 Tashkeela 也提出了同样的担忧,因为其中的书籍大量引用《古兰经》和圣训。
Skiredj 与 Berrada 在另一篇 2024 年的论文中报告,GPT-4 在 Fadel 等人的基准上 DER 约为 20%、WER 约为 30%,但缺少与上表对比所需的细节。
所以,GPT-4 级别的模型可能接近专用注音工具,也可能落后于它。这两篇论文都早于你今天能调用的开源模型。请用你自己的文本测量。
有哪些测试集?
| 数据集 | 说明 |
|---|---|
| Tashkeela | 来自 97 本书的 75,629,921 个完整注音词;98.85% 为 Shamela 图书馆的古典阿拉伯语,1.15% 为现代标准阿拉伯语 |
| Fadel 等人的基准 | 从 Tashkeela 中抽取约 230 万词;训练 50,000 行、验证 2,500 行、测试 2,500 行 |
| CATT 基准 | 742 句人工注音的新闻句子,随 CATT 模型一起发布 |
| WikiNews | 400 句人工注音的 MSA 新闻句子 |
Tashkeela 和 Fadel 数据集以古典阿拉伯语为主。如果你的文本是现代商务或新闻阿拉伯语,CATT 和 WikiNews 数据集更接近,而你自己文本的样本最接近。
什么样的提示词能保证字母不被改动?
模型的任务是加符号,其他一概不碰。但大模型喜欢“帮忙”,会把 الى 改成 إلى,把词尾的 ى 改成 ي,或者补上缺失的 hamza。这些改动也许都是正确的阿拉伯语,但它们属于拼写纠错,而不是注音,会在不告诉你的情况下改变你的文本。
所以,提示词写明规则,代码负责执行:去掉回复中的注音符号,与去掉注音的输入比较。只要有一个字母、空格或标点不同,就拒收这条回复。
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
我们是在本地模拟服务器上运行的,而不是线上 API。对第一句,它预设的回复在两次尝试中都把 الى “纠正”成了 إلى;第二句的回复则没有问题。输出如下:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
关于这段代码:
- **先做 Unicode NFC。**hamza 可能以一个预组合字符(أ)出现,也可能是字母加组合符号。NFC 会在比较前把两边统一。规范化那篇文章详细讲了这个陷阱。
- **
max_tokens=4000。**BroadNet 的文档说明,DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再作答,思考内容计入max_tokens。上限太小会返回空回复,校验会将其拒收。请留足空间,或者把reasoning_effort设为 low;参见思考模型返回空响应和思考 token 预算计算器。 - **校验没有检查“保留已有注音”。**如果你的输入已经部分注音,也要比较这些符号。
- **拼写是另一个决定。**如果你希望把 الى 改正,先做一步纠错,再给纠正后的文本注音。把两件事混在一起,两者都无法校验。
- **长文本要分块。**每个请求发送一句或一段。CATT 本身把输入限制在 1,024 个字符,并在标点处切分长句;同样的习惯能让大模型的回复保持简短,重试也更便宜。
关于编写阿拉伯语提示词的一般建议,包括何时应告诉模型不要加注音,参见阿拉伯语提示词工程。
如何给注音打分:DER 和 WER?
**注音错误率(DER)是注音与参考答案不同的字母所占比例。这里的词错误率(WER)**是至少有一个注音符号出错的词所占比例。它不同于我们 ASR 文章中语音识别的 WER:它统计的是注音有误的词,而不是插入或删除的词。
有两项设置会让数字差别很大:
- **含或不含格尾。**词的最后一个字母承载语法格(i’rab),取决于句法。论文会报告两种设置,因为大量错误来自格尾。
- **是否统计不带注音的字母。**有些脚本把不带符号的字母(例如 الطالب 中的 alef)计为一次正确的“无注音”预测,有些则跳过。Fadel 的评分脚本为此提供了一个开关。
已发表的脚本在这些选择上各不相同,所以只能比较同一个脚本算出的数字。下面这个脚本很短,可以通读:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
这个示例预测在 32 个字母、7 个词中有两个格尾错误和一个词中元音错误。含格尾时输出 DER 9.38、WER 42.86;不含格尾时输出 DER 4.0、WER 14.29。注意 WER 如何放大少量错误:一个符号错了,整个词就算错。
脚本拒绝为字母被改动的词打分,这是有意为之。改动字母的注音工具已经没有完成任务,它的 DER 毫无意义。
作为第二项检查,我们用基于规则的注音工具 Mishkal 0.4.1,对一句由我们人工注音的 16 词句子做了测试。它的四个错误全部是格尾,例如把 مُحَمَّدٌ 写成 مُحَمَّدُ。含格尾时 DER 为 5.88,不含时为 0.0。一句话证明不了 Mishkal 的水平,但说明了为什么要两种设置都报告。
要构建测试集,取 100 到 200 句你自己的文本,请母语者注音,然后去掉符号,用每个候选系统跑一遍。人工版本作为标准答案保留。
什么时候专用注音工具胜过大模型?
| 选择 | 适用场景 |
|---|---|
| 专用模型(CATT、libtashkeel、Mishkal) | 大批量、文本类型固定、延迟要求严格、离线或端侧使用,或者需要在设计上保证逐字母一致的输出 |
| 通过 API 调用大模型 | 量小或波动大、输入混杂或不规整、团队没有 ML 运维,或者流水线的其他步骤已经在调用大模型 |
专用模型为每个字母预测一个符号,因此不可能改写你的文本。CATT 采用 Apache 2.0 许可证,用 pip install catt-tashkeel 安装;它的 README 推荐用仅编码器模型追求速度,用编码器-解码器模型追求准确率。libtashkeel 采用 MIT 许可证,主要用 MSA 训练。Mishkal 基于规则、采用 GPL,如果你要把它打包进产品,这一点很重要。
大模型上手更快,也能应付训练模型从没见过的输入:方言、阿拉伯语与英语混排、奇怪的标点。但每条回复都需要上面的骨架校验,而且按 token 计费。
用大模型注音要花多少钱?
注音符号是额外的字符,分词器会把它们切成额外的 token。我们用每个模型自己的分词器,统计了 2,500 行的 Fadel 测试集(125,098 词),对比无注音文本与完整注音文本:
| 分词器 | 无注音文本 | 注音后 | 比值 |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
无注音文本按输入 token 计费,注音后的回复按输出 token 计费,另加思考内容。输出是贵的一侧:据 BroadNet 价格页面,Qwen3.8 27B 每百万 token $2.17,DeepSeek V4.1 Flash 为 $0.52,GLM 5.3 为 $3.46,Gemma 4 VL 26B 为 $0.22。校验失败后的重试还会增加费用。把你自己的文本粘贴到阿拉伯语 token 计数器,就能看到你数据上的比值;至于阿拉伯语为什么本来就更费 token,参见阿拉伯语与英语每词 token 数。
如果是对大型档案的一次性任务,DeepSeek V4.1 Flash 套餐用按会话的固定价格(每周 $15 或每小时 $1)取代按量计费;每个会话一次只运行一个请求,所以请参照没有 Batch API 时的批量处理来规划运行。
BroadNet Inference 的定位
BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 通过一个 OpenAI 兼容端点提供上述四个对话模型,所以设置好 base URL 和密钥后,代码就能用 OpenAI Python SDK 运行。Gemma 4 VL 26B 可以用 $5 的初始额度运行;DeepSeek、GLM 和 Qwen 需要充值。BroadNet 没有注音端点,没有发布自己的注音基准,也没有文本转语音。它的哪个模型最适合给你的文本注音,尚未测量:请先用你自己的样本打分,再做选择。请求细节见 API 参考。
