BroadRouter
Mulai

Word error rate (WER)

Diperbarui

Word error rate (WER) adalah ukuran akurasi standar untuk pengenalan ucapan: jumlah substitusi, penghapusan, dan penyisipan kata yang dibutuhkan untuk mengubah transkrip menjadi referensi yang benar, dibagi jumlah kata dalam referensi. Makin rendah makin baik.

Disebut juga: word error rate, tingkat kesalahan kata, akurasi transkripsi, akurasi speech-to-text, akurasi ASR, WER, ASR accuracy, transcription accuracy, word accuracy

WER menjawab satu pertanyaan: dari setiap 100 kata yang diucapkan seseorang, berapa yang salah di transkrip?

Cara kerjanya

Sejajarkan transkrip model dengan referensi yang benar buatan manusia, lalu hitung tiga jenis kesalahan:

  • Substitusi: kata yang salah menggantikan kata yang benar;
  • Deletion (penghapusan): kata yang diucapkan tetapi hilang;
  • Insertion (penyisipan): kata yang tidak diucapkan tetapi muncul.

WER = (S + D + I) / N, dengan N adalah jumlah kata dalam referensi.

Contoh. Referensinya “please send the invoice to our office today” (8 kata). Transkripnya berbunyi “please send an invoice to office today now”:

Kesalahan Jumlah
“the” → “an” 1 substitusi
“our” hilang 1 penghapusan
“now” ditambahkan 1 penyisipan

WER = 3 / 8 = 0,375, atau 37,5%. Wikipedia mencatat bahwa WER adalah edit distance di tingkat kata, dan karena penyisipan tidak dibatasi, nilainya “can be larger than 1.0.” (terjemahan: bisa lebih besar dari 1,0.)

Tool seperti paket Python jiwer menghitungnya. Normalisasi kedua teks lebih dulu: huruf besar-kecil, tanda baca, angka yang ditulis sebagai digit atau kata, dan untuk bahasa Arab, harakat serta bentuk alif atau ya. Pilihan normalisasi saja sudah bisa mengubah skor secara nyata.

Mengapa penting

  • Membandingkan model. WER adalah metrik umum di leaderboard dan klaim vendor, jadi ini filter pertama saat memilih API speech-to-text.
  • Audio Anda berbeda. Model yang sama bisa mendapat skor sangat berbeda pada ucapan yang dibacakan dan pada panggilan telepon berdialek. Untuk bahasa Arab, audio Bahasa Arab Standar Modern dan audio dialek memberi angka yang berbeda. Uji dengan rekaman yang mirip dengan milik Anda.
  • Tidak semua kesalahan setara. WER memberi bobot yang sama untuk setiap kata. Nomor rekening yang salah dihitung satu kesalahan, sama seperti “the” yang hilang. Baca transkripnya, bukan hanya skornya.

Di BroadNet Inference

BroadNet memublikasikan pengukuran lab-nya sendiri untuk BroadNet Transcribe Arabic:

Test set Isinya WER (%)
FLEURS-ar Kalimat yang dibacakan dengan jelas 3,8
MASC-ar Campuran ucapan bahasa Arab di dunia nyata 21,1
Set dialek BroadNet Ucapan berdialek 23,4

Selisih antara 3,8 dan 23,4 menunjukkan mengapa uji Anda sendiri penting. BroadNet juga melaporkan model ini berada di #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard. Kredit awal $5 mencakup sekitar 1,190 menit audio bahasa Arab, cukup untuk sebuah test set. Panduan pembeli berisi rencana uji satu jam, dan panduan bahasa Arab berisi kodenya.

Pertanyaan umum

Berapa word error rate yang bagus?

Tergantung audionya. Ucapan yang dibacakan dengan jelas bisa mendapat skor satu digit, sedangkan audio percakapan yang bising atau berdialek sering mendapat skor jauh lebih tinggi pada model yang sama. Bandingkan model pada test set yang sama, idealnya rekaman Anda sendiri.

Bisakah WER lebih dari 100%?

Bisa. Penyisipan ikut dihitung, tetapi penyebutnya hanya kata referensi, sehingga transkrip dengan banyak kata tambahan bisa mendapat skor di atas 1,0.

WER ditulis sebagai persentase atau desimal?

Keduanya umum. 0,211 dan 21,1 biasanya berarti sama, sekitar 21 kesalahan per 100 kata referensi. Cek mana yang dipakai sebuah sumber.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity