BroadRouter

Arapça ASR için kelime hata oranı (WER) nedir?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı

Kelime hata oranı (WER), değiştirilen, silinen ve eklenen kelimelerin sayısının referans transkriptteki kelime sayısına bölümüdür. Düşük olan daha iyidir. Arapça WER'i karşılaştırmak zordur, çünkü harekeler, elif ve tâ merbûta yazımı ve lehçeler onu şişirir. BroadNet, BroadNet Transcribe Arabic için FLEURS-ar'da 3,8, lehçe konuşmada 23,4 WER bildiriyor.

Kelime hata oranı (WER), değiştirilen, silinen ve eklenen kelimelerin sayısının doğru transkriptteki kelime sayısına bölümüdür. Düşük olan daha iyidir. Arapça WER kolayca şişer: aynı doğru transkript birkaç şekilde yazılabilir ve saf bir karşılaştırma her yazım tercihini, her harekeyi ve her lehçe yazımını hata olarak sayar.

Bu yazı WER’in neyi ölçtüğünü, Arapçanın onu neden kaygan hâle getirdiğini ve sayılarınızın bir anlam taşıması için nasıl hesaplanacağını anlatıyor. Test setinin kendisini kurmak için Arapça lehçe konuşma tanıma yazısına, sağlayıcı seçmek için Arapça konuşmadan metne API satın alma rehberine bakın.

Kelime hata oranı nedir?

Kelime hata oranı, makine transkriptini (hipotez) doğru bir insan transkriptiyle (referans) karşılaştırır. Birini diğerine dönüştüren en az sayıdaki kelime düzenlemesini bulur:

  • S, değiştirmeler (substitutions): başka bir kelimeyle değiştirilmiş kelime.
  • D, silmeler (deletions): hipotezde eksik olan bir referans kelimesi.
  • I, eklemeler (insertions): hipotezdeki fazladan bir kelime.

Sonra:

WER = (S + D + I) / N; burada N referanstaki kelime sayısıdır.

0,10 WER (çoğu zaman 10 olarak yazılır), kabaca her on referans kelimesinde bir hata demektir. Düşük olan daha iyidir. Eklemeler sayıldığı için, uydurma kelimelerle dolu bir transkriptte WER %100’ün üstüne çıkabilir.

Karakter hata oranı (CER), aynı formülün karakterler üzerinde uygulanmasıdır. Bir önekteki tek yanlış harfin bütün kelimeyi yanlış saydırdığı Arapçada işe yarar.

Arapça WER’i karşılaştırmak neden zor?

1. Harekeler

Arapçadaki kısa ünlüler, harflerin üstüne ve altına konan isteğe bağlı işaretlerle (teşkil) yazılır: fetha, damme, kesra, sükûn, şedde ve tenvin. Gündelik metin bunları yazmaz. Referansınızda “مَدْرَسَةٌ” varsa ve model “مدرسة” yazarsa, her Arapça okuyucu aynı kelimeyi görse de katı bir karşılaştırma bunu değiştirme olarak sayar.

2. Yazım varyantları

Bazı harflerin yaygın, kabul görmüş varyantları var:

Varyasyon Örnek Tipik normalleştirme
Elif üzerinde hemze أحمد / احمد, إلى / الى أ إ آ harflerini ا’ya eşleyin
Tâ merbûta ve hâ مدرسة / مدرسه ة’yi ه’ye eşleyin
Elif maksûra ve yâ على / علي (gevşek yazımda) ى’yi ي’ye eşleyin
Elifli tenvin صباحاً / صباحا Harekeyi silin
Tatvil (uzatma) جـمـيـل / جميل ـ işaretini kaldırın

3. Bitişik ekler ve kelime sınırları

Arapça bağlaçları, edatları ve zamirleri kelimelere bitiştirir: “وبمدرستهم” tek bir yazılı kelimede “ve onların okulunda” demektir. Model “و بمدرستهم” diye boşlukla yazarsa kelime sayısı değişir ve WER bunu iki kez cezalandırır. Bazı değerlendirmeler kelimeleri önce biçimbirimlere ayırır; çoğu ayırmaz. Hangisini okuduğunuzu bilin.

4. Lehçeler

Modern Standart Arapçanın aksine lehçe konuşma için standart bir yazım yok. “İstiyorum” diyen Mısırlı bir konuşmacı “عايز” ya da “عاوز” diye yazıya dökülebilir; Körfezli bir konuşmacının “ne”si “وش” ya da “ويش” olabilir. Bazı transkripsiyon yapanlar lehçeyi MSA’ya “düzeltir” de. Anlam kusursuz olsa bile bunların her biri bir WER hatasıdır. Lehçe WER’in okunmuş konuşma WER’inden bu kadar yüksek olmasının büyük bir nedeni bu.

5. Sayılar ve dil değiştirme

Konuşmacılar cümlenin ortasında sık sık İngilizceye geçer (code-switching). “٢٥” mi, “25” mi, yoksa “خمسة وعشرين” mi? İngilizce bir marka adı Latin harfleriyle mi, Arap harfleriyle mi yazılıyor? Bir kural belirleyin, referansa uygulayın ve hipotezi ona göre normalleştirin.

Normalleştirme puanı ne kadar değiştirir?

Referans: ذهبت إلى المدرسة صباحاً (“Sabah okula gittim”)

Hipotez: ذهبت الى المدرسه صباحا

Normalleştirme olmadan dört kelimeden üçü farklı (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER %75. İki metni de normalleştirdikten sonra birebir aynılar: WER %0. Aynı transkript, aynı kalite; sayı ise berbattan kusursuza geçti. Bu yüzden normalleştirme kuralları verilmeyen bir WER değeri size pek bir şey söylemez.

Python’da Arapça WER nasıl hesaplanır?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Karşılaştırdığınız her modelde, referanslara ve hipotezlere tam olarak aynı fonksiyonu uygulayın. Bu fonksiyonu sayılarınızın yanında yayımlayın.

BroadNet Arapça için hangi WER değerlerini bildiriyor?

BroadNet, BroadNet Transcribe Arabic için laboratuvar ölçümlerini model kataloğunda yayımlıyor:

Test seti Nedir BroadNet’in bildirdiği WER
FLEURS-ar Temiz okunmuş cümleler 3,8
MASC-ar Karışık, gerçek dünya Arapça konuşması 21,1
BroadNet lehçe seti Lehçe konuşma 23,4

BroadNet ayrıca modelin Open Universal Arabic ASR Leaderboard üzerinde 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) sırada olduğunu ve lisansı API üzerinden sunulmaya izin veren modeller arasında 1 numara olduğunu bildiriyor. Bunlar BroadNet’in rakamları, bağımsız denetimler değil. Leaderboard her modele tek bir değerlendirme kurulumu uyguluyor; bu da sıralamalarını ayrı satıcı sayfalarındaki sayılardan daha karşılaştırılabilir kılıyor.

Yalnızca en iyi sayıya değil, aralığa bakın. 3,8’den 23,4’e sıçrama, tek bir model için okunmuş konuşma ile doğaçlama lehçe arasındaki farktır; bu yüzden her adayı iki tür seste de test edin. Çağrı merkezi hatları, WhatsApp sesli mesajları ya da toplantılar olsun, kendi sesleriniz bu aralıkta bir yere düşecek ve nereye düştüğünü yalnızca bir test söyler.

Kendi seslerinizde WER’i nasıl ölçersiniz?

  1. Koşula göre örnekleyin. Klipleri lehçeye ve kanala (telefon, sesli mesaj, stüdyo) göre gruplayın. Lehçe test seti yöntemi örneklem boyutlarını ve yazım kurallarını ele alıyor.
  2. Her adayla transkripsiyon yapın. BroadNet için language=ar gönderin; bu olmadan Arapça, Latin harflerine çevriyazılmış olarak dönebilir. Kod Arapça konuşmadan metne rehberinde var; $5 başlangıç kredisi yaklaşık 1,190 dakikalık sesi karşılar.
  3. Normalleştirin ve puanlayın. Yukarıdaki fonksiyonu kullanın, WER ve CER’i grup başına raporlayın.
  4. Hataları okuyun. Değiştirmeleri sıklığa göre sıralayın. En sık hatalar adlar, tutarlar ya da ürün kodlarıysa iş üzerindeki etki puanın gösterdiğinden büyüktür.

WER dışında neleri ölçmelisiniz?

WER her kelimeye eşit davranır, ama ürününüz öyle davranmaz. Bir destek botu niyeti önemser; bir faturalama akışı sayıları; bir uyum ekibi belirli ifadeleri. WER’in yanına bir görev metriği ekleyin: bir LLM transkripti okuduktan sonraki niyet doğruluğu ya da çıkarılan tutarlarda tam eşleşme. WER’i biraz daha yüksek olan bir model, hataları önemsiz kelimelere denk geliyorsa yine de kazanabilir.

Maliyet tarafı için aylık ses saatlerinizi ücretsiz konuşmadan metne maliyet hesaplayıcısına girin ve Arapça model ile 14 dilli modelin nasıl farklılaştığını BroadNet Transcribe ile Transcribe Arabic karşılaştırmasında görün.

Sık sorulan sorular

İyi bir Arapça WER değeri kaçtır?

Temiz okunmuş konuşmada tek haneli değerler mümkün; BroadNet FLEURS-ar'da 3,8 bildiriyor. Gerçek dünya ve lehçe seslerinde çok daha yüksek sayılar bekleyin; BroadNet MASC-ar'da 21,1, kendi lehçe setinde 23,4 bildiriyor. Modelleri aynı normalleştirmeyle kendi seslerinizde karşılaştırın.

Arapça WER hesaplamadan önce harekeleri silmeli miyim?

Genellikle evet. Arapça metinlerin çoğu kısa ünlü işaretleri olmadan yazılır ve modeller bunları tutarsız ekler. Ürününüz harekeli metin gerektirmiyorsa hem referanstan hem hipotezden silin.

CER nedir, ne zaman kullanmalıyım?

Karakter hata oranı, aynı hesabın kelimeler yerine karakterler üzerinde yapılmış hâlidir. Tek bir yanlış önek harfinin bütün kelimeyi yanlış yaptığı Arapçada daha az serttir ve WER'in yanında yararlıdır.

WER %100'ün üzerinde olabilir mi?

Evet. Eklemeler hata sayılır; bu yüzden çok sayıda fazladan kelime uyduran bir model, referanstaki kelime sayısından daha fazla hata yapabilir.

Python'da Arapça için WER nasıl hesaplanır?

jiwer'i kurun, hem referansı hem model çıktısını aynı fonksiyonla normalleştirin (harekeleri ve tatvili silin, elif, yâ ve tâ merbûtayı birleştirin, Doğu Arap rakamlarını dönüştürün), sonra jiwer.wer(references, hypotheses) çağırın. Normalleştirmeyi puanın yanında raporlayın.

Arapça WER neden İngilizce WER'den yüksek?

Kısmen gerçek zorluktan (lehçeler, bitişik ekler, dil değiştirme), kısmen de puanlamadan: Arapçada kabul gören yazım varyantları ve isteğe bağlı harekeler var ve katı bir karşılaştırma her birini hata sayar. İki metni de normalleştirmek puanlama kaynaklı kısmı ortadan kaldırır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor