Para sa karamihan ng mambabasa ng Arabic, iisang salita ang مدرسة at مدرسه, “paaralan”. Para sa string comparison, magkaiba sila. Ang taa marbuta ang dahilan.
Paano ito gumagana
Inililista ng Unicode Standard ang TEH MARBUTA (U+0629) bilang trailing character, isang lumalabas lang sa dulo ng salita o morpheme. Right-joining ito, kaya sa letra lang bago nito ito kumakabit. Ang hugis nito ay ang hugis ng HEH (U+0647) sa dulo ng salita, dagdag ang dalawang tuldok:
| Character | Code point | Pangalan sa Unicode | Huling anyo pagkatapos ng ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Dahil dalawang tuldok lang sa dulo ng salita ang pagkakaiba ng dalawa, parehong baybay ang lumalabas sa tina-type na text. Ayon kina Bouamor et al. (2018), may pamantayang ortograpiya ang Modern Standard Arabic pero wala ang mga dialect, at madalas binabaybay ng mga tao ang salita ayon sa bigkas nila. Kaya sa impormal at dialectal Arabic na text, asahan ang huling ه kung saan ة ang isusulat ng diksiyonaryo.
Pinag-iisa ng mga search normalizer ang dalawa. Simpleng s.replace('ة', 'ه') ang normalize_teh_marbuta_ar ng CAMeL Tools, at inililista ng ArabicNormalizer ng Lucene ang “normalization of teh marbuta to heh” bilang patakaran.
Bakit ito mahalaga
Recall. Kapag pinag-isa ang ة sa ه, mahahanap ng query na مدرسه ang mga dokumentong baybay ay مدرسة, at ang kabaligtaran. Isa ito sa mga karaniwang patakaran ng Arabic text normalization, kasama ng pag-iisa ng alef at hamza.
Nagsasanib na salita. Pinag-iisa rin ng patakaran ang mga salitang sa letrang ito lang nagkakaiba:
| Orihinal | Kahulugan | Pagkatapos ng ة sa ه |
|---|---|---|
| كرة | bola | كره |
| كره | pagkamuhi | كره |
Para sa search, kadalasang makatwirang kapalit ang paminsan-minsang maling tugma. Para sa entity matching, spelling correction o legal na text, panatilihin ang pagkakaiba at ikumpara ang mga orihinal.
Scoring. Sa evaluation ng speech-to-text, binibilang na word error ang transcript na nagsusulat ng ه kung saan ة ang nasa reference, maliban kung pareho silang na-normalize sa parehong paraan. Magpasya bago mag-score, at sabihin ito.
Sa BroadNet Inference
Hindi nagno-normalize ng text ang API ng BroadNet. Tumatanggap at nagbabalik ang mga chat model ng ة at ه nang eksakto kung paano isinulat, at ordinaryong Arabic text ang ibinabalik ng BroadNet Transcribe Arabic. Ilapat ang patakarang ة sa sarili mong index o scoring code, sa magkabilang panig.
Kung magpapatama ka ng baybay sa chat model, suriin ang mga edit nito sa code: may diff-based na check sa post tungkol sa Arabic spelling correction. Para sa mga index, ipinapakita ng post tungkol sa Arabic RAG search at ng gabay sa normalization kung saan bagay ang patakaran. Masusubukan mo ang patakaran sa sarili mong mga string gamit ang Arabic text normalizer.