مدرسة dan مدرسه adalah kata yang sama, “sekolah”, bagi sebagian besar pembaca Arab. Bagi perbandingan string, keduanya berbeda. Penyebabnya adalah ta marbutah.
Cara kerjanya
Unicode Standard mencantumkan TEH MARBUTA (U+0629) sebagai karakter akhir, yaitu karakter yang hanya muncul di akhir kata atau morfem. Huruf ini menyambung ke kanan, jadi hanya tersambung ke huruf sebelumnya. Bentuknya adalah bentuk HEH (U+0647) di akhir kata, ditambah dua titik:
| Karakter | Code point | Nama Unicode | Bentuk akhir setelah ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Karena keduanya hanya berbeda dua titik di akhir kata, kedua ejaan muncul dalam teks ketikan. Bouamor dkk. (2018) mencatat bahwa bahasa Arab Standar Modern punya ortografi baku, tetapi dialek-dialeknya tidak, dan orang sering mengeja kata sesuai pengucapannya. Jadi dalam teks informal dan bahasa Arab dialek, wajar menemukan ه di akhir kata yang di kamus ditulis ة.
Normalizer pencarian menyatukan keduanya. Fungsi normalize_teh_marbuta_ar di CAMeL Tools hanyalah s.replace('ة', 'ه'), dan ArabicNormalizer di Lucene mencantumkan “normalization of teh marbuta to heh” (terjemahan: normalisasi teh marbuta menjadi heh) sebagai salah satu aturannya.
Mengapa penting
Recall. Menyatukan ة ke ه membuat kueri مدرسه menemukan dokumen yang menulis مدرسة, dan sebaliknya. Ini salah satu aturan standar normalisasi teks Arab, bersama penyatuan alif dan hamzah.
Kata yang tergabung. Aturan ini juga meleburkan kata yang hanya berbeda pada huruf ini:
| Asli | Arti | Setelah ة ke ه |
|---|---|---|
| كرة | bola | كره |
| كره | kebencian | كره |
Untuk pencarian, sesekali salah cocok biasanya harga yang wajar. Untuk pencocokan entitas, koreksi ejaan, atau teks hukum, pertahankan perbedaannya dan bandingkan teks aslinya.
Penilaian. Dalam evaluasi speech-to-text, transkrip yang menulis ه di tempat referensi menulis ة dihitung sebagai kesalahan kata, kecuali keduanya dinormalisasi dengan cara yang sama. Putuskan sebelum menilai, dan nyatakan keputusannya.
Di BroadNet Inference
API BroadNet tidak menormalkan teks. Model chat menerima dan mengembalikan ة dan ه persis seperti yang ditulis, dan BroadNet Transcribe Arabic mengembalikan teks Arab biasa. Terapkan aturan ة di indeks atau kode penilaian Anda sendiri, di kedua sisi.
Jika Anda meminta model chat mengoreksi ejaan, periksa editnya di kode: artikel koreksi ejaan Arab menunjukkan pengecekan berbasis diff. Untuk indeks, artikel pencarian RAG Arab dan panduan normalisasi menunjukkan posisi aturan ini. Anda bisa mencoba aturannya pada string Anda sendiri dengan normalizer teks Arab.