词错误率(WER)是被替换、删除和插入的词数之和,除以正确转写中的词数,越低越好。阿拉伯语 WER 很容易被抬高:同一份正确的转写可以有好几种写法,简单粗暴的比较会把每一种拼写选择、变音符号和方言拼写都算作错误。
本文解释 WER 衡量的是什么、为什么阿拉伯语让它变得难以捉摸,以及如何计算才能让数字有意义。要搭建测试集本身,请看阿拉伯语方言语音识别;要选择服务商,请看阿拉伯语语音转文字 API 选购指南。
什么是词错误率?
词错误率把机器转写(假设)和正确的人工转写(参考)做比较。它找出把一方变成另一方所需的最少词级编辑次数:
- **S,替换:**一个词被换成了另一个词。
- **D,删除:**参考中的词在假设中缺失。
- **I,插入:**假设中多出来的词。
于是:
WER = (S + D + I) / N,其中 N 是参考转写的词数。
WER 为 0.10(常写作 10)表示大约每十个参考词出一个错。越低越好。因为插入也算数,一份满是凭空编造词语的转写,WER 可以超过 100%。
字符错误率(CER)是同一个公式,只是按字符计算。它对阿拉伯语很有用,因为在阿拉伯语里,前缀错一个字母,整个词就会被算错。
为什么阿拉伯语 WER 难以比较?
1. 变音符号
阿拉伯语的短元音用标在字母上下的可选符号(tashkeel)表示:fatha、damma、kasra、sukun、shadda 和 tanween。日常文本不写这些符号。如果你的参考转写是“مَدْرَسَةٌ”,模型写的是“مدرسة”,严格比较会算作一次替换,尽管任何阿拉伯语读者都知道这是同一个词。
2. 拼写变体
有几个字母存在常见的、公认的变体:
| 变体 | 示例 | 常用归一化 |
|---|---|---|
| alef 上的 hamza | أحمد / احمد,إلى / الى | 把 أ إ آ 映射为 ا |
| ta marbuta 与 ha | مدرسة / مدرسه | 把 ة 映射为 ه |
| alef maqsura 与 ya | على / علي(不严谨的书写中) | 把 ى 映射为 ي |
| 带 alef 的 tanween | صباحاً / صباحا | 去掉变音符号 |
| tatweel(拉长符) | جـمـيـل / جميل | 删除 ـ |
3. 附着词与词边界
阿拉伯语会把连词、介词和代词附着在词上:“وبمدرستهم”一个书写单词就是“以及在他们的学校里”。如果模型写成带空格的“و بمدرستهم”,词数就变了,WER 会罚它两次。有些评测会先把词切分成语素,大多数不会。要清楚你看的是哪一种。
4. 方言
与现代标准阿拉伯语不同,方言语音没有标准拼写。埃及人说“我想要”,可能被转写成“عايز”或“عاوز”;海湾人说“什么”,可能是“وش”或“ويش”。有些转写员还会把方言“纠正”成 MSA。即使意思完全正确,每一处都是 WER 错误。这在很大程度上解释了为什么方言 WER 比朗读语音高那么多。
5. 数字与语码转换
说话人经常在句子中途切换到英语(语码转换)。是写“٢٥”、“25”还是“خمسة وعشرين”?英文品牌名用拉丁字母写,还是用阿拉伯字母写?定一个约定,把它用到参考转写上,再把假设归一化到同一约定。
归一化对分数影响有多大?
参考:ذهبت إلى المدرسة صباحاً(“我早上去了学校”)
假设:ذهبت الى المدرسه صباحا
不做归一化时,四个词里有三个不同(إلى/الى、المدرسة/المدرسه、صباحاً/صباحا):**WER 75%。**把两边文本归一化后,两者完全相同:**WER 0%。**同一份转写、同样的质量,数字却从糟糕变成了完美。这就是为什么不附归一化规则的 WER 数字说明不了什么。
怎么用 Python 计算阿拉伯语 WER?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
对参考转写和假设使用完全相同的函数,比较的每个模型都一样。把这个函数和你的数字一起公布。
BroadNet 报告的阿拉伯语 WER 是多少?
BroadNet 在其模型目录中公布了 BroadNet Transcribe Arabic 的实验室测量结果:
| 测试集 | 内容 | BroadNet 报告的 WER |
|---|---|---|
| FLEURS-ar | 清晰的朗读句子 | 3.8 |
| MASC-ar | 混合的真实场景阿拉伯语语音 | 21.1 |
| BroadNet 方言测试集 | 方言语音 | 23.4 |
BroadNet 还报告,该模型在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个)(这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名),在许可证允许通过 API 提供服务的模型中排名第一。这些是 BroadNet 自己的数据,不是独立审计。该排行榜对每个模型使用同一套评测设置,所以它的排名比各家厂商页面上的单独数字更具可比性。
要看差距,而不只是最好的那个数字。从 3.8 到 23.4 的跳跃,是同一个模型在朗读语音和自发方言语音之间的差距,所以要在这两类音频上测试每个候选模型。你自己的音频,无论是呼叫中心录音、WhatsApp 语音消息还是会议,都会落在这个区间的某个位置,只有测试才能告诉你具体在哪里。
怎么在自己的音频上测量 WER?
- **按条件抽样。**按方言和声道(电话、语音消息、录音棚)给音频片段分组。方言测试集的方法讲了样本量和拼写约定。
- **用每个候选模型转写。**在 BroadNet 上要传
language=ar;不传的话,阿拉伯语可能会以拉丁字母转写的形式返回。阿拉伯语语音转文字指南里有代码,$5 的初始额度大约够转写 1,190 分钟音频。 - **归一化并打分。**使用上面的函数,按组报告 WER 和 CER。
- **看错误本身。**按出现频率给替换错误排序。如果最常见的错误是人名、金额或产品编号,对业务的影响就比分数显示的更大。
除了 WER 还应该测量什么?
WER 对每个词一视同仁,但你的产品不是。客服机器人关心意图;开票流程关心数字;合规团队关心特定措辞。在 WER 旁边加一个任务指标:大模型读完转写后的意图准确率,或者抽取出的金额是否完全一致。一个 WER 稍高的模型,如果它的错误落在无关紧要的词上,仍然可能胜出。
至于成本,把你每月的音频小时数填进免费的语音转文字费用计算器,再看看阿拉伯语模型和 14 语种模型在 BroadNet Transcribe 与 Transcribe Arabic 对比中有何不同。
