WER 问的是错了多少个词。CER 问的是错了多少个字母,对阿拉伯语来说,这往往是更公平的问法。
工作原理
CER 用的是和词错误率相同的编辑距离思路,只是作用在字符上。Hugging Face 的指标说明给出了公式:
CER = (S + D + I) / N,其中 S 是替换数,D 是删除数,I 是插入数,N 是参考文本的字符数(N = S + D + C,C 为正确的字符数)。
一个阿拉伯语示例。参考文本是“وبالكتاب”(“以及用这本书”,一个词,8 个字母)。转写结果是“وبلكتاب”,少了一个 alef:
| 指标 | 错误 | 参考单位 | 得分 |
|---|---|---|---|
| WER | 1 个错词 | 1 个词 | 1.0(100%) |
| CER | 1 个被删除的字母 | 8 个字符 | 0.125(12.5%) |
对 WER 来说,少一个字母,整个词就算错。CER 则显示转写几乎是对的。
在 Python 里,jiwer 包用 jiwer.cer(reference, hypothesis) 计算它,jiwer.process_characters 还会返回对齐结果。和 WER 一样,先对两边做规范化:标点、空格,对阿拉伯语还要处理变音符号以及 alef 或 yaa 的写法。参见阿拉伯语文本规范化。
为什么重要
- 阿拉伯语的形态。 阿拉伯语把连词、介词和代词作为附着成分粘在词上,所以一个词能承载英语要写三四个词的内容。前缀错一个字母,在 WER 里就要算错整个词,在 CER 里只算一个字符。
- 不用空格分词的语言。 WER 需要词边界。Hugging Face 的说明称 CER 很有用,“especially for multilingual datasets where WER is not suitable given the diversity of languages.”(译文:尤其适用于多语言数据集,因为语言多样,WER 并不合适。)
- 错误类型。 WER 高而 CER 低的模型,词其实差不多都对了:只是拼写、hamza 或附着成分上的小错,规范化或纠错步骤也许就能修正。CER 高则说明模型漏掉了整个词或内容。
- 也适用于 OCR。 同一个指标也能给从图像中读出的文本打分,所以在比较 OCR 流水线时很有用。
指标说明还提醒,CER 不能告诉你错误为什么会发生。请结合分数阅读一些转写样本。
在 BroadNet Inference 上
BroadNet 为 BroadNet Transcribe Arabic 和 BroadNet Transcribe 公布的是 WER,不是 CER。要得到 CER,请用你自己的录音组成测试集进行转写,然后自己打分。阿拉伯语 WER 详解一文提供了一个规范化函数和一个同时输出 WER 与 CER 的 jiwer 脚本,阿拉伯语语音转文字指南给出了请求代码。始终发送 language=ar:不传的话,阿拉伯语可能被音译成拉丁字母返回,两个分数都会变得一塌糊涂。
常见错误
- 空格的计数方式不一致。 先决定空格算不算字符,再对比较的每个模型都用同一规则。
- 拿 CER 去比别人的 WER。 两者是不同的尺度。要同类相比。