BroadRouter
Başlayın

Kelime hata oranı (WER)

Güncellendi

Kelime hata oranı (word error rate, WER), konuşma tanımada standart doğruluk ölçüsüdür: bir transkripti doğru referansa dönüştürmek için gereken kelime değiştirme, silme ve ekleme sayısının referanstaki kelime sayısına bölümüdür. Düşük olan daha iyidir.

Diğer adları: kelime hata oranı, WER nedir, transkripsiyon doğruluğu, ses tanıma doğruluğu, ASR doğruluğu, WER, word error rate, ASR accuracy, transcription accuracy, word accuracy

WER tek bir soruyu yanıtlar: birinin söylediği her 100 kelimeden kaçını transkript yanlış yazdı?

Nasıl çalışır

Modelin transkriptini doğru bir insan referansıyla hizalayın, ardından üç tür hatayı sayın:

  • S (substitutions, değiştirmeler): doğru kelimenin yerine yanlış bir kelime;
  • D (deletions, silmeler): söylenmiş ama eksik olan bir kelime;
  • I (insertions, eklemeler): söylenmemiş ama transkriptte görünen bir kelime.

WER = (S + D + I) / N; burada N, referanstaki kelime sayısıdır.

Örnek. Referans “please send the invoice to our office today” (8 kelime). Transkript ise “please send an invoice to office today now” diyor:

Hata Sayı
“the” → “an” 1 değiştirme
“our” eksik 1 silme
“now” eklenmiş 1 ekleme

WER = 3 / 8 = 0,375, yani %37,5. Wikipedia, WER’in kelime düzeyinde bir düzenleme mesafesi olduğunu ve eklemeler sınırlanmadığı için “can be larger than 1.0.” (çeviri: 1,0’dan büyük olabilir) olduğunu belirtir.

Python’daki jiwer paketi gibi araçlar bunu hesaplar. Önce iki metni de normalleştirin: büyük-küçük harf, noktalama, rakamla veya yazıyla yazılan sayılar; Arapça için de harekeler ile elif ve ye biçimleri. Yalnızca normalleştirme tercihleri bile puanı belirgin biçimde değiştirebilir.

Neden önemli

  • Modelleri karşılaştırmak. WER, sıralama tablolarında ve satıcı iddialarında ortak ölçüttür; bu yüzden bir konuşmadan metne API’si seçerken ilk filtredir.
  • Sizin sesiniz farklıdır. Aynı model okunan konuşmada ve lehçeyle yapılan telefon görüşmelerinde çok farklı puanlar alabilir. Arapçada Modern Standart Arapça ve lehçe sesleri farklı sonuçlar verir. Sizinkine benzeyen kayıtlarla test edin.
  • Her hata eşit değildir. WER her kelimeye aynı ağırlığı verir. Yanlış bir hesap numarası, eksik bir “the” gibi tek hata sayılır. Yalnızca puanları değil, transkriptleri de okuyun.

BroadNet Inference’ta

BroadNet, BroadNet Transcribe Arabic için kendi laboratuvar ölçümlerini yayımlıyor:

Test seti Nedir WER (%)
FLEURS-ar Temiz, okunan cümleler 3,8
MASC-ar Karışık, gerçek hayattan Arapça konuşma 21,1
BroadNet lehçe seti Lehçeyle konuşma 23,4

3,8 ile 23,4 arasındaki fark, kendi testinizin neden önemli olduğunu gösteriyor. BroadNet ayrıca modelin Open Universal Arabic ASR Leaderboard’da 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) konumunda olduğunu bildiriyor. $5 tutarındaki başlangıç kredisi yaklaşık 1,190 dakika Arapça sesi karşılar; bir test seti için yeterli. Satın alma rehberinde bir saatlik test planı, Arapça rehberinde ise kod var.

Sık sorulan sorular

İyi bir kelime hata oranı kaçtır?

Sese bağlıdır. Temiz, okunan konuşma tek haneli puanlar alabilirken gürültülü sohbet veya lehçe sesi aynı modelde çoğu zaman çok daha yüksek puan alır. Modelleri aynı test seti üzerinde, tercihen kendi kayıtlarınızla karşılaştırın.

WER %100'ün üzerine çıkabilir mi?

Evet. Eklemeler sayılır ama payda yalnızca referans kelimelerdir; bu yüzden çok sayıda fazladan kelime içeren bir transkript 1,0'ın üzerinde puan alabilir.

WER yüzde olarak mı, ondalık olarak mı yazılır?

İkisi de yaygındır. 0,211 ve 21,1 genellikle aynı anlama gelir: 100 referans kelimede yaklaşık 21 hata. Kaynağın hangisini kullandığını kontrol edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor