WER 回答一个问题:一个人说的每 100 个词里,转写结果错了几个?
工作原理
把模型的转写结果与人工给出的正确参考文本对齐,再统计三类错误:
- S 替换(substitution):用错误的词替代了正确的词;
- D 删除(deletion):说了但缺失的词;
- I 插入(insertion):没说却出现的词。
WER = (S + D + I) / N,其中 N 是参考文本的词数。
示例。参考文本是 “please send the invoice to our office today”(8 个词)。转写结果为 “please send an invoice to office today now”:
| 错误 | 数量 |
|---|---|
| “the” → “an” | 1 个替换 |
| 缺少 “our” | 1 个删除 |
| 多出 “now” | 1 个插入 |
WER = 3 / 8 = 0.375,即 37.5%。维基百科指出,WER 是词级别的编辑距离,而且由于插入没有上限,它 “can be larger than 1.0.”(译文:可能大于 1.0。)
jiwer 这类 Python 包可以计算 WER。请先对两段文本做规范化:大小写、标点、数字写成阿拉伯数字还是单词;阿拉伯语还要处理变音符号以及 alef 和 yaa 的写法。仅规范化方式的不同,就可能让分数明显变化。
为什么重要
- 比较模型。 WER 是排行榜和厂商宣传中的通用指标,所以选择语音转文字 API 时,它是第一道筛选。
- 你的音频不一样。 同一个模型在朗读语音和方言电话录音上的得分可能相差很大。对阿拉伯语而言,现代标准阿拉伯语和方言音频会得出不同的数字。请用与你的场景相似的录音测试。
- 错误并不等价。 WER 对每个词一视同仁。一个错误的账号算一个错误,和少了一个 “the” 一样。别只看分数,要读转写文本。
在 BroadNet Inference 上
BroadNet 公布了 BroadNet Transcribe Arabic 的自家实验室测量结果:
| 测试集 | 内容 | WER(%) |
|---|---|---|
| FLEURS-ar | 干净的朗读句子 | 3.8 |
| MASC-ar | 混合的真实场景阿拉伯语语音 | 21.1 |
| BroadNet 方言集 | 方言语音 | 23.4 |
3.8 与 23.4 之间的差距说明了自己测试的重要性。BroadNet 还报告该模型在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。$5 初始额度可覆盖约 1,190 分钟的阿拉伯语音频,足够做一个测试集。选购指南给出了一小时的测试计划,阿拉伯语指南提供了代码。