WER tek bir soruyu yanıtlar: birinin söylediği her 100 kelimeden kaçını transkript yanlış yazdı?
Nasıl çalışır
Modelin transkriptini doğru bir insan referansıyla hizalayın, ardından üç tür hatayı sayın:
- S (substitutions, değiştirmeler): doğru kelimenin yerine yanlış bir kelime;
- D (deletions, silmeler): söylenmiş ama eksik olan bir kelime;
- I (insertions, eklemeler): söylenmemiş ama transkriptte görünen bir kelime.
WER = (S + D + I) / N; burada N, referanstaki kelime sayısıdır.
Örnek. Referans “please send the invoice to our office today” (8 kelime). Transkript ise “please send an invoice to office today now” diyor:
| Hata | Sayı |
|---|---|
| “the” → “an” | 1 değiştirme |
| “our” eksik | 1 silme |
| “now” eklenmiş | 1 ekleme |
WER = 3 / 8 = 0,375, yani %37,5. Wikipedia, WER’in kelime düzeyinde bir düzenleme mesafesi olduğunu ve eklemeler sınırlanmadığı için “can be larger than 1.0.” (çeviri: 1,0’dan büyük olabilir) olduğunu belirtir.
Python’daki jiwer paketi gibi araçlar bunu hesaplar. Önce iki metni de normalleştirin: büyük-küçük harf, noktalama, rakamla veya yazıyla yazılan sayılar; Arapça için de harekeler ile elif ve ye biçimleri. Yalnızca normalleştirme tercihleri bile puanı belirgin biçimde değiştirebilir.
Neden önemli
- Modelleri karşılaştırmak. WER, sıralama tablolarında ve satıcı iddialarında ortak ölçüttür; bu yüzden bir konuşmadan metne API’si seçerken ilk filtredir.
- Sizin sesiniz farklıdır. Aynı model okunan konuşmada ve lehçeyle yapılan telefon görüşmelerinde çok farklı puanlar alabilir. Arapçada Modern Standart Arapça ve lehçe sesleri farklı sonuçlar verir. Sizinkine benzeyen kayıtlarla test edin.
- Her hata eşit değildir. WER her kelimeye aynı ağırlığı verir. Yanlış bir hesap numarası, eksik bir “the” gibi tek hata sayılır. Yalnızca puanları değil, transkriptleri de okuyun.
BroadNet Inference’ta
BroadNet, BroadNet Transcribe Arabic için kendi laboratuvar ölçümlerini yayımlıyor:
| Test seti | Nedir | WER (%) |
|---|---|---|
| FLEURS-ar | Temiz, okunan cümleler | 3,8 |
| MASC-ar | Karışık, gerçek hayattan Arapça konuşma | 21,1 |
| BroadNet lehçe seti | Lehçeyle konuşma | 23,4 |
3,8 ile 23,4 arasındaki fark, kendi testinizin neden önemli olduğunu gösteriyor. BroadNet ayrıca modelin Open Universal Arabic ASR Leaderboard’da 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) konumunda olduğunu bildiriyor. $5 tutarındaki başlangıç kredisi yaklaşık 1,190 dakika Arapça sesi karşılar; bir test seti için yeterli. Satın alma rehberinde bir saatlik test planı, Arapça rehberinde ise kod var.