WER はひとつの問いに答えます。話された 100 語のうち、書き起こしは何語を間違えたか?
仕組み
モデルの書き起こしを、人が作った正しい参照テキストと位置合わせし、3 種類の誤りを数えます。
- S 置換(substitution):正しい単語の代わりに別の単語が入った;
- D 削除(deletion):話されたのに抜けている単語;
- I 挿入(insertion):話されていないのに現れた単語。
WER = (S + D + I) / N。N は参照テキストの単語数です。
例です。参照テキストは “please send the invoice to our office today”(8 語)。書き起こしは “please send an invoice to office today now” でした。
| 誤り | 数 |
|---|---|
| “the” → “an” | 置換 1 |
| “our” が欠落 | 削除 1 |
| “now” が追加 | 挿入 1 |
WER = 3 / 8 = 0.375、つまり 37.5% です。ウィキペディアは、WER は単語レベルの編集距離であり、挿入に上限がないため “can be larger than 1.0.”(訳:1.0 を超えることがある)と述べています。
Python の jiwer パッケージなどで計算できます。先に両方のテキストを正規化してください。大文字小文字、句読点、数字を数字で書くか単語で書くか、アラビア語ではさらにダイアクリティカルマークと alef や yaa の字形です。正規化の選び方だけで、スコアが目に見えて変わることがあります。
なぜ重要か
- モデルの比較。 WER はリーダーボードやベンダーの主張で共通に使われる指標なので、音声認識 API を選ぶときの最初のふるいになります。
- あなたの音声は違う。 同じモデルでも、読み上げ音声と方言の電話音声ではスコアが大きく異なることがあります。アラビア語では、現代標準アラビア語と方言の音声で数字が変わります。自分のものに近い録音でテストしてください。
- 誤りの重みは同じではない。 WER はすべての単語を同じに扱います。間違った口座番号も、“the” が 1 つ抜けたのと同じ 1 個の誤りです。スコアだけでなく、書き起こしも読んでください。
BroadNet Inference では
BroadNet は BroadNet Transcribe Arabic について独自のラボ測定値を公表しています。
| テストセット | 内容 | WER(%) |
|---|---|---|
| FLEURS-ar | クリアな読み上げ文 | 3.8 |
| MASC-ar | 実環境の多様なアラビア語音声 | 21.1 |
| BroadNet 方言セット | 方言の音声 | 23.4 |
3.8 と 23.4 の差は、自分でテストすることの大切さを示しています。BroadNet はまた、このモデルの Open Universal Arabic ASR Leaderboard での順位を 37 件中 2 位 (2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位) と報告しています。$5 の初回クレジットで約 1,190 分のアラビア語音声を処理でき、テストセットには十分です。購入ガイドには 1 時間のテスト計画が、アラビア語ガイドにはコードがあります。