BroadRouter
开始使用

字错误率(CER,character error rate)

更新于

字错误率(CER)在字符层面衡量转写或 OCR 的准确度:把输出变成参考文本所需的替换、删除和插入次数,除以参考文本的字符数。越低越好,0 表示完全一致。

又称: 字错误率、字符错误率、字错率、CER 指标、CER、character error rate

WER 问的是错了多少个词。CER 问的是错了多少个字母,对阿拉伯语来说,这往往是更公平的问法。

工作原理

CER 用的是和词错误率相同的编辑距离思路,只是作用在字符上。Hugging Face 的指标说明给出了公式:

CER = (S + D + I) / N,其中 S 是替换数,D 是删除数,I 是插入数,N 是参考文本的字符数(N = S + D + C,C 为正确的字符数)。

一个阿拉伯语示例。参考文本是“وبالكتاب”(“以及用这本书”,一个词,8 个字母)。转写结果是“وبلكتاب”,少了一个 alef:

指标 错误 参考单位 得分
WER 1 个错词 1 个词 1.0(100%)
CER 1 个被删除的字母 8 个字符 0.125(12.5%)

对 WER 来说,少一个字母,整个词就算错。CER 则显示转写几乎是对的。

在 Python 里,jiwer 包用 jiwer.cer(reference, hypothesis) 计算它,jiwer.process_characters 还会返回对齐结果。和 WER 一样,先对两边做规范化:标点、空格,对阿拉伯语还要处理变音符号以及 alef 或 yaa 的写法。参见阿拉伯语文本规范化。

为什么重要

  • 阿拉伯语的形态。 阿拉伯语把连词、介词和代词作为附着成分粘在词上,所以一个词能承载英语要写三四个词的内容。前缀错一个字母,在 WER 里就要算错整个词,在 CER 里只算一个字符。
  • 不用空格分词的语言。 WER 需要词边界。Hugging Face 的说明称 CER 很有用,“especially for multilingual datasets where WER is not suitable given the diversity of languages.”(译文:尤其适用于多语言数据集,因为语言多样,WER 并不合适。)
  • 错误类型。 WER 高而 CER 低的模型,词其实差不多都对了:只是拼写、hamza 或附着成分上的小错,规范化或纠错步骤也许就能修正。CER 高则说明模型漏掉了整个词或内容。
  • 也适用于 OCR。 同一个指标也能给从图像中读出的文本打分,所以在比较 OCR 流水线时很有用。

指标说明还提醒,CER 不能告诉你错误为什么会发生。请结合分数阅读一些转写样本。

在 BroadNet Inference 上

BroadNet 为 BroadNet Transcribe Arabic 和 BroadNet Transcribe 公布的是 WER,不是 CER。要得到 CER,请用你自己的录音组成测试集进行转写,然后自己打分。阿拉伯语 WER 详解一文提供了一个规范化函数和一个同时输出 WER 与 CER 的 jiwer 脚本,阿拉伯语语音转文字指南给出了请求代码。始终发送 language=ar:不传的话,阿拉伯语可能被音译成拉丁字母返回,两个分数都会变得一塌糊涂。

常见错误

  • 空格的计数方式不一致。 先决定空格算不算字符,再对比较的每个模型都用同一规则。
  • 拿 CER 去比别人的 WER。 两者是不同的尺度。要同类相比。

常见问题

CER 会超过 100% 吗?

会。Hugging Face 的指标说明指出,CER 不一定在 0 到 1 之间,转写结果插入很多内容时尤其如此,因为分母只计算参考文本的字符。

阿拉伯语应该报告 CER 还是 WER?

两个都报告。排行榜和服务商引用的是 WER,要做比较就离不开它。CER 能显示错误是整个词错了,还是零星错了一个字母或附着成分,这一点 WER 看不出来。

BroadNet 公布了转写模型的 CER 吗?

没有。BroadNet 只公布 WER。要得到 CER,请用 jiwer 这类工具给你自己的测试集打分。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity