WER は、何単語間違えたかを問います。CER は、何文字間違えたかを問います。アラビア語では、こちらのほうが公平な問いであることがよくあります。
しくみ
CER は、単語誤り率と同じ編集距離の考え方を文字に適用したものです。Hugging Face の指標カードは次の式を示しています。
CER = (S + D + I) / N。S は置換、D は削除、I は挿入の数で、N は参照テキストの文字数です(N = S + D + C、C は正しい文字の数)。
アラビア語の具体例です。参照テキストは「وبالكتاب」(「そしてその本で」、1 単語、8 文字)。書き起こしは「وبلكتاب」で、アリフが 1 つ抜けています。
| 指標 | 誤り | 参照の単位 | スコア |
|---|---|---|---|
| WER | 誤った単語 1 つ | 1 単語 | 1.0(100%) |
| CER | 削除された文字 1 つ | 8 文字 | 0.125(12.5%) |
WER では、1 文字抜けただけで単語全体が誤りになります。CER を見れば、書き起こしがほぼ正しかったことがわかります。
Python では、jiwer パッケージの jiwer.cer(reference, hypothesis) で計算でき、jiwer.process_characters はアラインメントも返します。WER と同じく、まず両方を正規化してください。句読点、空白、そしてアラビア語では発音記号やアリフ、ヤーの形です。アラビア語テキストの正規化を参照してください。
なぜ重要か
- アラビア語の形態。 アラビア語では、接続詞、前置詞、代名詞が接語として単語にくっつくので、英語なら 3〜4 語で書く内容を 1 単語が担うことがあります。接頭辞の 1 文字を誤るだけで、WER では 1 単語まるごとの誤りになります。CER では 1 文字分として扱われます。
- 単語をスペースで区切らない言語。 WER には単語の境界が必要です。Hugging Face のカードは、CER が “especially for multilingual datasets where WER is not suitable given the diversity of languages.”(訳:言語が多様なために WER が適さない多言語データセットでは特に)有用だとしています。
- 誤りの種類。 WER が高く CER が低いモデルは、単語をほぼ正しく捉えています。綴り、ハムザ、接語の小さなずれで、正規化や修正ステップで直せるかもしれません。CER が高い場合は、単語や内容そのものを取りこぼしています。
- OCR にも使える。 同じ指標で画像から読み取ったテキストも採点できるので、OCR のパイプラインを比べるときにも役立ちます。
指標カードは、CER では誤りが起きる理由まではわからないとも注意しています。スコアと合わせて、書き起こしのサンプルを読んでください。
BroadNet Inference の場合
BroadNet が BroadNet Transcribe Arabic と BroadNet Transcribe について公開しているのは WER で、CER ではありません。CER を得るには、自分の録音でテストセットを作って書き起こし、自分で採点してください。アラビア語 WER の解説記事には正規化関数と、WER と CER の両方を出力する jiwer のスクリプトがあり、アラビア語音声認識のガイドにはリクエストのコードがあります。language=ar は必ず送ってください。指定しないと、アラビア語がラテン文字に音訳されて返ってくることがあり、どちらのスコアも台無しになります。
よくある間違い
- スペースの数え方が一定でない。 スペースを文字として数えるかどうかを決め、比べるすべてのモデルに同じルールを適用してください。
- CER を他人の WER と比べる。 尺度が違います。同じもの同士で比べてください。