مدرسة ve مدرسه, çoğu Arapça okuru için aynı kelimedir: “okul”. Bir dize karşılaştırması için ise farklıdırlar. Bunun nedeni tâ merbûtadır.
Nasıl çalışır
Unicode Standardı TEH MARBUTA’yı (U+0629) sonda gelen bir karakter, yani yalnızca bir kelimenin veya biçimbirimin sonunda görülen bir karakter olarak listeler. Sağa bitişen bir harftir; yalnızca kendinden önceki harfe bağlanır. Şekli, kelime sonundaki HEH (U+0647) şeklinin üzerine iki nokta eklenmiş hâlidir:
| Karakter | Kod noktası | Unicode adı | ب’den sonra son biçim |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
İkisi kelime sonunda yalnızca iki noktayla ayrıldığı için yazılan metinde iki yazım da görülür. Bouamor ve arkadaşları (2018), Modern Standart Arapçanın standart bir yazımı olduğunu ama lehçelerin olmadığını ve insanların kelimeleri çoğu zaman telaffuzlarını yansıtacak şekilde yazdığını not eder. Bu yüzden gayriresmî ve lehçe Arapça metinlerde, sözlüğün ة yazacağı yerde sonda ه görmeyi bekleyin.
Arama normalleştiricileri ikisini birleştirir. CAMeL Tools’un normalize_teh_marbuta_ar fonksiyonu düz bir s.replace('ة', 'ه') çağrısıdır; Lucene’in ArabicNormalizer’ı da “normalization of teh marbuta to heh” (çeviri: teh marbuta’nın heh’e normalleştirilmesi) kuralını listeler.
Neden önemli
Geri getirme (recall). ة’yi ه’ye katlamak, مدرسه sorgusunun مدرسة yazan belgeleri bulmasını sağlar; tersi de geçerlidir. Elif ve hemze katlamayla birlikte Arapça metin normalizasyonunun standart kurallarından biridir.
Birleşen kelimeler. Kural, yalnızca bu harfte farklılaşan kelimeleri de birleştirir:
| Asıl | Anlam | ة → ه sonrası |
|---|---|---|
| كرة | top | كره |
| كره | nefret | كره |
Arama için ara sıra çıkan yanlış eşleşme genellikle makul bir bedeldir. Varlık eşleştirme, yazım düzeltme veya hukuki metinlerde ayrımı koruyun ve asıllarını karşılaştırın.
Puanlama. Konuşmadan metne değerlendirmesinde, referansta ة olan yerde ه yazan bir transkript, iki taraf da aynı şekilde normalleştirilmedikçe kelime hatası sayılır. Puanlamadan önce karar verin ve bunu belirtin.
BroadNet Inference’ta
BroadNet’in API’si metni normalleştirmez. Sohbet modelleri ة ve ه harflerini yazıldığı gibi alır ve döndürür; BroadNet Transcribe Arabic de sıradan Arapça metin döndürür. ة kuralını kendi indeksinizde veya puanlama kodunuzda, her iki tarafa da uygulayın.
Bir sohbet modelinden yazım düzeltmesi istiyorsanız düzeltmelerini kodda kontrol edin: Arapça yazım düzeltme yazısı diff tabanlı bir kontrol gösterir. İndeksler için Arapça RAG araması yazısı ve normalizasyon rehberi kuralın nereye oturduğunu gösterir. Kuralı kendi dizelerinizde Arapça metin normalleştiricisiyle deneyebilirsiniz.