BroadRouter

阿拉伯语语音识别的词错误率(WER)详解

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于

词错误率(WER)是被替换、删除和插入的词数之和,除以参考转写中的词数,越低越好。阿拉伯语 WER 很难横向比较,因为变音符号、alef 与 ta marbuta 的拼写以及方言都会推高它。BroadNet 报告,BroadNet Transcribe Arabic 在 FLEURS-ar 上的 WER 为 3.8,在方言语音上为 23.4。

词错误率(WER)是被替换、删除和插入的词数之和,除以正确转写中的词数,越低越好。阿拉伯语 WER 很容易被抬高:同一份正确的转写可以有好几种写法,简单粗暴的比较会把每一种拼写选择、变音符号和方言拼写都算作错误。

本文解释 WER 衡量的是什么、为什么阿拉伯语让它变得难以捉摸,以及如何计算才能让数字有意义。要搭建测试集本身,请看阿拉伯语方言语音识别;要选择服务商,请看阿拉伯语语音转文字 API 选购指南。

什么是词错误率?

词错误率把机器转写(假设)和正确的人工转写(参考)做比较。它找出把一方变成另一方所需的最少词级编辑次数:

  • **S,替换:**一个词被换成了另一个词。
  • **D,删除:**参考中的词在假设中缺失。
  • **I,插入:**假设中多出来的词。

于是:

WER = (S + D + I) / N,其中 N 是参考转写的词数。

WER 为 0.10(常写作 10)表示大约每十个参考词出一个错。越低越好。因为插入也算数,一份满是凭空编造词语的转写,WER 可以超过 100%。

字符错误率(CER)是同一个公式,只是按字符计算。它对阿拉伯语很有用,因为在阿拉伯语里,前缀错一个字母,整个词就会被算错。

为什么阿拉伯语 WER 难以比较?

1. 变音符号

阿拉伯语的短元音用标在字母上下的可选符号(tashkeel)表示:fatha、damma、kasra、sukun、shadda 和 tanween。日常文本不写这些符号。如果你的参考转写是“مَدْرَسَةٌ”,模型写的是“مدرسة”,严格比较会算作一次替换,尽管任何阿拉伯语读者都知道这是同一个词。

2. 拼写变体

有几个字母存在常见的、公认的变体:

变体 示例 常用归一化
alef 上的 hamza أحمد / احمد,إلى / الى 把 أ إ آ 映射为 ا
ta marbuta 与 ha مدرسة / مدرسه 把 ة 映射为 ه
alef maqsura 与 ya على / علي(不严谨的书写中) 把 ى 映射为 ي
带 alef 的 tanween صباحاً / صباحا 去掉变音符号
tatweel(拉长符) جـمـيـل / جميل 删除 ـ

3. 附着词与词边界

阿拉伯语会把连词、介词和代词附着在词上:“وبمدرستهم”一个书写单词就是“以及在他们的学校里”。如果模型写成带空格的“و بمدرستهم”,词数就变了,WER 会罚它两次。有些评测会先把词切分成语素,大多数不会。要清楚你看的是哪一种。

4. 方言

与现代标准阿拉伯语不同,方言语音没有标准拼写。埃及人说“我想要”,可能被转写成“عايز”或“عاوز”;海湾人说“什么”,可能是“وش”或“ويش”。有些转写员还会把方言“纠正”成 MSA。即使意思完全正确,每一处都是 WER 错误。这在很大程度上解释了为什么方言 WER 比朗读语音高那么多。

5. 数字与语码转换

说话人经常在句子中途切换到英语(语码转换)。是写“٢٥”、“25”还是“خمسة وعشرين”?英文品牌名用拉丁字母写,还是用阿拉伯字母写?定一个约定,把它用到参考转写上,再把假设归一化到同一约定。

归一化对分数影响有多大?

参考:ذهبت إلى المدرسة صباحاً(“我早上去了学校”)

假设:ذهبت الى المدرسه صباحا

不做归一化时,四个词里有三个不同(إلى/الى、المدرسة/المدرسه、صباحاً/صباحا):**WER 75%。**把两边文本归一化后,两者完全相同:**WER 0%。**同一份转写、同样的质量,数字却从糟糕变成了完美。这就是为什么不附归一化规则的 WER 数字说明不了什么。

怎么用 Python 计算阿拉伯语 WER?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

对参考转写和假设使用完全相同的函数,比较的每个模型都一样。把这个函数和你的数字一起公布。

BroadNet 报告的阿拉伯语 WER 是多少?

BroadNet 在其模型目录中公布了 BroadNet Transcribe Arabic 的实验室测量结果:

测试集 内容 BroadNet 报告的 WER
FLEURS-ar 清晰的朗读句子 3.8
MASC-ar 混合的真实场景阿拉伯语语音 21.1
BroadNet 方言测试集 方言语音 23.4

BroadNet 还报告,该模型在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个)(这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名),在许可证允许通过 API 提供服务的模型中排名第一。这些是 BroadNet 自己的数据,不是独立审计。该排行榜对每个模型使用同一套评测设置,所以它的排名比各家厂商页面上的单独数字更具可比性。

要看差距,而不只是最好的那个数字。从 3.8 到 23.4 的跳跃,是同一个模型在朗读语音和自发方言语音之间的差距,所以要在这两类音频上测试每个候选模型。你自己的音频,无论是呼叫中心录音、WhatsApp 语音消息还是会议,都会落在这个区间的某个位置,只有测试才能告诉你具体在哪里。

怎么在自己的音频上测量 WER?

  1. **按条件抽样。**按方言和声道(电话、语音消息、录音棚)给音频片段分组。方言测试集的方法讲了样本量和拼写约定。
  2. **用每个候选模型转写。**在 BroadNet 上要传 language=ar;不传的话,阿拉伯语可能会以拉丁字母转写的形式返回。阿拉伯语语音转文字指南里有代码,$5 的初始额度大约够转写 1,190 分钟音频。
  3. **归一化并打分。**使用上面的函数,按组报告 WER 和 CER。
  4. **看错误本身。**按出现频率给替换错误排序。如果最常见的错误是人名、金额或产品编号,对业务的影响就比分数显示的更大。

除了 WER 还应该测量什么?

WER 对每个词一视同仁,但你的产品不是。客服机器人关心意图;开票流程关心数字;合规团队关心特定措辞。在 WER 旁边加一个任务指标:大模型读完转写后的意图准确率,或者抽取出的金额是否完全一致。一个 WER 稍高的模型,如果它的错误落在无关紧要的词上,仍然可能胜出。

至于成本,把你每月的音频小时数填进免费的语音转文字费用计算器,再看看阿拉伯语模型和 14 语种模型在 BroadNet Transcribe 与 Transcribe Arabic 对比中有何不同。

常见问题

阿拉伯语 WER 多少算好?

在清晰的朗读语音上,可以做到个位数;BroadNet 报告在 FLEURS-ar 上为 3.8。在真实场景和方言音频上,数字会高得多;BroadNet 报告在 MASC-ar 上为 21.1,在其方言测试集上为 23.4。请用相同的归一化方式,在你自己的音频上比较模型。

计算阿拉伯语 WER 之前要去掉变音符号吗?

通常要。大多数阿拉伯语书写时不标短元音符号,模型添加这些符号也不一致。除非你的产品需要带元音标注的文本,否则把参考转写和模型输出中的变音符号都去掉。

CER 是什么,什么时候该用?

字符错误率用的是同样的公式,只是按字符而不是按词计算。它对阿拉伯语没那么苛刻,因为在阿拉伯语里前缀错一个字母,整个词就算错,所以它适合和 WER 一起使用。

WER 会超过 100% 吗?

会。插入也算错误,所以一个凭空多出很多词的模型,错误数可能超过参考转写的词数。

怎么用 Python 计算阿拉伯语 WER?

安装 jiwer,用同一个函数把参考转写和模型输出都归一化(去掉变音符号和 tatweel,统一 alef、yaa 和 ta marbuta,转换东阿拉伯数字),然后调用 jiwer.wer(references, hypotheses)。在分数旁边注明归一化方式。

为什么阿拉伯语 WER 比英语高?

一部分是真实的难度(方言、附着词、语码转换),一部分是评分方式:阿拉伯语有公认的拼写变体和可选的变音符号,严格比较会把每一处都算作错误。把两边文本归一化,就能去掉评分造成的那部分。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity