Bir model Arapça benchmark’larda iyi puan alıp yine de Riyad’dan gelen bir sesli mesajda ya da Kazablanka’dan gelen bir sohbet mesajında tökezleyebilir. Bunlar lehçelerdir ve Modern Standart Arapça sınavından farklı bir sınavdır.
Nasıl çalışır
MADAR derlemini oluşturan Bouamor vd. (2018), Arapçayı “a family of varieties” (çeviri: bir varyeteler ailesi) olarak tanımlar. MSA, “from Morocco to Oman” (çeviri: Fas’tan Umman’a) kültürün, medyanın ve eğitimin ortak dilidir, ancak hiçbir konuşurun ana dili değildir. Lehçeler genellikle bölgesel olarak Mısır, Kuzey Afrika, Levant, Körfez ve Yemen diye ya da alt bölgesel olarak Tunus, Lübnan, Kuveyt vb. diye gruplanır. MSA’dan ses, kelime dağarcığı ve biçimbilim bakımından ayrılırlar; daha az ölçüde de şehirden şehre farklılaşırlar.
Yazılım için en önemli üç fark şunlardır:
- Sesler. MADAR’ın örneği kaf (ق) harfidir. Tunus Arapçasında MSA’ya yakın biçimde /q/ olarak kalır; Mısır ve Levant Arapçasında gırtlak durmasıdır; Körfez Arapçasında /g/ olur. Konuşma modelleri bu üçünü de aynı yazılı kelimeye eşlemelidir.
- Kelimeler. Gündelik kelimeler farklıdır. “İstiyorum” MSA’da أريد, Mısır Arapçasında عايز, Levant Arapçasında بدي, Körfez Arapçasında أبي veya أبغى, Fas Arapçasında بغيت olur.
- Yazım. MADAR, MSA’nın standart bir imlası olduğunu, lehçelerin ise olmadığını belirtir. İnsanlar sese ya da kökene göre yazar, bazen de Latin harfleriyle Arabizi olarak. Konuşurlar araya İngilizce veya Fransızca da katar; buna kod değiştirme denir.
Lehçe giderek daha fazla yazılıyor da. MADAR onu, internetteki gayriresmî iletişimin yükselen birincil yazı dili olarak niteler. NADI 2020, 21 Arap ülkesindeki 100 ili kapsayan tweet’lerden bir ortak görev oluşturdu.
Neden önemli
- Sohbet ve destek botları. Kullanıcılar konuştukları gibi yazar. MSA ile eğitilmiş niyet kuralları, anahtar kelime araması ve duygu analizi modelleri lehçe kelimeleri kaçırır. Bkz. LLM’lerle Körfez ve Mısır lehçeleri.
- Konuşmadan metne. Lehçeli ses, aynı modelde okunan MSA’dan çok daha kötü puan alır. Lehçe konuşma tanıma yazısında anlatıldığı gibi, her lehçe için ayrı bir test seti oluşturun.
- Yönlendirme. Yanıtlar, gözden geçirenler veya istemler bölgeye göre değişiyorsa, önce Arapça lehçe tespiti ile lehçeyi etiketleyin.
BroadNet Inference’ta
BroadNet, BroadNet Transcribe Arabic modelini Körfez, Mısır, Levant, Mağrip ve Modern Standart Arapça için listeler. BroadNet, FLEURS-ar okunan konuşmada 3,8, kendi Körfez, Mısır ve Levant lehçe setinde ise 23,4 kelime hata oranı bildirir; ikisi de BroadNet ölçümleridir. Aradaki fark lehçe etkisidir. Hepsi için language=ar gönderin; BroadNet’in belgeleri, aksi hâlde Arapçanın Latin harflerine transliterasyonla dönebileceği konusunda uyarır.
Metin tarafında BroadNet, Qwen3.8 27B modelini Arapçada test ettiğini ve Körfez ile Mısır lehçelerinin anlaşıldığını bildirir. BroadNet Levant veya Mağrip metni için bir sonuç yayımlamaz; bunları kendi mesajlarınızla test edin. Arapça LLM rehberi modelleri karşılaştırır, Arapça konuşmadan metne rehberi de çalışan kod içerir.
Sık yapılan hatalar
- Yalnızca MSA haber metinleriyle test edip lehçeyle yazan kullanıcılara yayına almak.
- WER’in ortalamasını lehçeler arasında almak; bu, en zayıf lehçeyi gizler.
- Kullanıcılara gösterdiğiniz metinde lehçe yazımını MSA’ya normalize etmek.