Kelime hata oranı (WER), değiştirilen, silinen ve eklenen kelimelerin sayısının doğru transkriptteki kelime sayısına bölümüdür. Düşük olan daha iyidir. Arapça WER kolayca şişer: aynı doğru transkript birkaç şekilde yazılabilir ve saf bir karşılaştırma her yazım tercihini, her harekeyi ve her lehçe yazımını hata olarak sayar.
Bu yazı WER’in neyi ölçtüğünü, Arapçanın onu neden kaygan hâle getirdiğini ve sayılarınızın bir anlam taşıması için nasıl hesaplanacağını anlatıyor. Test setinin kendisini kurmak için Arapça lehçe konuşma tanıma yazısına, sağlayıcı seçmek için Arapça konuşmadan metne API satın alma rehberine bakın.
Kelime hata oranı nedir?
Kelime hata oranı, makine transkriptini (hipotez) doğru bir insan transkriptiyle (referans) karşılaştırır. Birini diğerine dönüştüren en az sayıdaki kelime düzenlemesini bulur:
- S, değiştirmeler (substitutions): başka bir kelimeyle değiştirilmiş kelime.
- D, silmeler (deletions): hipotezde eksik olan bir referans kelimesi.
- I, eklemeler (insertions): hipotezdeki fazladan bir kelime.
Sonra:
WER = (S + D + I) / N; burada N referanstaki kelime sayısıdır.
0,10 WER (çoğu zaman 10 olarak yazılır), kabaca her on referans kelimesinde bir hata demektir. Düşük olan daha iyidir. Eklemeler sayıldığı için, uydurma kelimelerle dolu bir transkriptte WER %100’ün üstüne çıkabilir.
Karakter hata oranı (CER), aynı formülün karakterler üzerinde uygulanmasıdır. Bir önekteki tek yanlış harfin bütün kelimeyi yanlış saydırdığı Arapçada işe yarar.
Arapça WER’i karşılaştırmak neden zor?
1. Harekeler
Arapçadaki kısa ünlüler, harflerin üstüne ve altına konan isteğe bağlı işaretlerle (teşkil) yazılır: fetha, damme, kesra, sükûn, şedde ve tenvin. Gündelik metin bunları yazmaz. Referansınızda “مَدْرَسَةٌ” varsa ve model “مدرسة” yazarsa, her Arapça okuyucu aynı kelimeyi görse de katı bir karşılaştırma bunu değiştirme olarak sayar.
2. Yazım varyantları
Bazı harflerin yaygın, kabul görmüş varyantları var:
| Varyasyon | Örnek | Tipik normalleştirme |
|---|---|---|
| Elif üzerinde hemze | أحمد / احمد, إلى / الى | أ إ آ harflerini ا’ya eşleyin |
| Tâ merbûta ve hâ | مدرسة / مدرسه | ة’yi ه’ye eşleyin |
| Elif maksûra ve yâ | على / علي (gevşek yazımda) | ى’yi ي’ye eşleyin |
| Elifli tenvin | صباحاً / صباحا | Harekeyi silin |
| Tatvil (uzatma) | جـمـيـل / جميل | ـ işaretini kaldırın |
3. Bitişik ekler ve kelime sınırları
Arapça bağlaçları, edatları ve zamirleri kelimelere bitiştirir: “وبمدرستهم” tek bir yazılı kelimede “ve onların okulunda” demektir. Model “و بمدرستهم” diye boşlukla yazarsa kelime sayısı değişir ve WER bunu iki kez cezalandırır. Bazı değerlendirmeler kelimeleri önce biçimbirimlere ayırır; çoğu ayırmaz. Hangisini okuduğunuzu bilin.
4. Lehçeler
Modern Standart Arapçanın aksine lehçe konuşma için standart bir yazım yok. “İstiyorum” diyen Mısırlı bir konuşmacı “عايز” ya da “عاوز” diye yazıya dökülebilir; Körfezli bir konuşmacının “ne”si “وش” ya da “ويش” olabilir. Bazı transkripsiyon yapanlar lehçeyi MSA’ya “düzeltir” de. Anlam kusursuz olsa bile bunların her biri bir WER hatasıdır. Lehçe WER’in okunmuş konuşma WER’inden bu kadar yüksek olmasının büyük bir nedeni bu.
5. Sayılar ve dil değiştirme
Konuşmacılar cümlenin ortasında sık sık İngilizceye geçer (code-switching). “٢٥” mi, “25” mi, yoksa “خمسة وعشرين” mi? İngilizce bir marka adı Latin harfleriyle mi, Arap harfleriyle mi yazılıyor? Bir kural belirleyin, referansa uygulayın ve hipotezi ona göre normalleştirin.
Normalleştirme puanı ne kadar değiştirir?
Referans: ذهبت إلى المدرسة صباحاً (“Sabah okula gittim”)
Hipotez: ذهبت الى المدرسه صباحا
Normalleştirme olmadan dört kelimeden üçü farklı (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER %75. İki metni de normalleştirdikten sonra birebir aynılar: WER %0. Aynı transkript, aynı kalite; sayı ise berbattan kusursuza geçti. Bu yüzden normalleştirme kuralları verilmeyen bir WER değeri size pek bir şey söylemez.
Python’da Arapça WER nasıl hesaplanır?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Karşılaştırdığınız her modelde, referanslara ve hipotezlere tam olarak aynı fonksiyonu uygulayın. Bu fonksiyonu sayılarınızın yanında yayımlayın.
BroadNet Arapça için hangi WER değerlerini bildiriyor?
BroadNet, BroadNet Transcribe Arabic için laboratuvar ölçümlerini model kataloğunda yayımlıyor:
| Test seti | Nedir | BroadNet’in bildirdiği WER |
|---|---|---|
| FLEURS-ar | Temiz okunmuş cümleler | 3,8 |
| MASC-ar | Karışık, gerçek dünya Arapça konuşması | 21,1 |
| BroadNet lehçe seti | Lehçe konuşma | 23,4 |
BroadNet ayrıca modelin Open Universal Arabic ASR Leaderboard üzerinde 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) sırada olduğunu ve lisansı API üzerinden sunulmaya izin veren modeller arasında 1 numara olduğunu bildiriyor. Bunlar BroadNet’in rakamları, bağımsız denetimler değil. Leaderboard her modele tek bir değerlendirme kurulumu uyguluyor; bu da sıralamalarını ayrı satıcı sayfalarındaki sayılardan daha karşılaştırılabilir kılıyor.
Yalnızca en iyi sayıya değil, aralığa bakın. 3,8’den 23,4’e sıçrama, tek bir model için okunmuş konuşma ile doğaçlama lehçe arasındaki farktır; bu yüzden her adayı iki tür seste de test edin. Çağrı merkezi hatları, WhatsApp sesli mesajları ya da toplantılar olsun, kendi sesleriniz bu aralıkta bir yere düşecek ve nereye düştüğünü yalnızca bir test söyler.
Kendi seslerinizde WER’i nasıl ölçersiniz?
- Koşula göre örnekleyin. Klipleri lehçeye ve kanala (telefon, sesli mesaj, stüdyo) göre gruplayın. Lehçe test seti yöntemi örneklem boyutlarını ve yazım kurallarını ele alıyor.
- Her adayla transkripsiyon yapın. BroadNet için
language=argönderin; bu olmadan Arapça, Latin harflerine çevriyazılmış olarak dönebilir. Kod Arapça konuşmadan metne rehberinde var; $5 başlangıç kredisi yaklaşık 1,190 dakikalık sesi karşılar. - Normalleştirin ve puanlayın. Yukarıdaki fonksiyonu kullanın, WER ve CER’i grup başına raporlayın.
- Hataları okuyun. Değiştirmeleri sıklığa göre sıralayın. En sık hatalar adlar, tutarlar ya da ürün kodlarıysa iş üzerindeki etki puanın gösterdiğinden büyüktür.
WER dışında neleri ölçmelisiniz?
WER her kelimeye eşit davranır, ama ürününüz öyle davranmaz. Bir destek botu niyeti önemser; bir faturalama akışı sayıları; bir uyum ekibi belirli ifadeleri. WER’in yanına bir görev metriği ekleyin: bir LLM transkripti okuduktan sonraki niyet doğruluğu ya da çıkarılan tutarlarda tam eşleşme. WER’i biraz daha yüksek olan bir model, hataları önemsiz kelimelere denk geliyorsa yine de kazanabilir.
Maliyet tarafı için aylık ses saatlerinizi ücretsiz konuşmadan metne maliyet hesaplayıcısına girin ve Arapça model ile 14 dilli modelin nasıl farklılaştığını BroadNet Transcribe ile Transcribe Arabic karşılaştırmasında görün.
