BroadRouter

Taa marbuta

Na-update

Ang taa marbuta (ة, U+0629) ay Arabic na letrang lumalabas lang sa dulo ng salita, at madalas na tanda ng pambabaeng pangngalan at pang-uri. Kamukha ito ng heh (ه, U+0647) na may dalawang tuldok, kaya nahahalo ang dalawa sa tina-type na text, at maraming search normalizer ang nagpapalit ng ة sa ه.

Tinatawag ding: ta marbuta, teh marbuta, taa marbouta

Para sa karamihan ng mambabasa ng Arabic, iisang salita ang مدرسة at مدرسه, “paaralan”. Para sa string comparison, magkaiba sila. Ang taa marbuta ang dahilan.

Paano ito gumagana

Inililista ng Unicode Standard ang TEH MARBUTA (U+0629) bilang trailing character, isang lumalabas lang sa dulo ng salita o morpheme. Right-joining ito, kaya sa letra lang bago nito ito kumakabit. Ang hugis nito ay ang hugis ng HEH (U+0647) sa dulo ng salita, dagdag ang dalawang tuldok:

Character Code point Pangalan sa Unicode Huling anyo pagkatapos ng ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Dahil dalawang tuldok lang sa dulo ng salita ang pagkakaiba ng dalawa, parehong baybay ang lumalabas sa tina-type na text. Ayon kina Bouamor et al. (2018), may pamantayang ortograpiya ang Modern Standard Arabic pero wala ang mga dialect, at madalas binabaybay ng mga tao ang salita ayon sa bigkas nila. Kaya sa impormal at dialectal Arabic na text, asahan ang huling ه kung saan ة ang isusulat ng diksiyonaryo.

Pinag-iisa ng mga search normalizer ang dalawa. Simpleng s.replace('ة', 'ه') ang normalize_teh_marbuta_ar ng CAMeL Tools, at inililista ng ArabicNormalizer ng Lucene ang “normalization of teh marbuta to heh” bilang patakaran.

Bakit ito mahalaga

Recall. Kapag pinag-isa ang ة sa ه, mahahanap ng query na مدرسه ang mga dokumentong baybay ay مدرسة, at ang kabaligtaran. Isa ito sa mga karaniwang patakaran ng Arabic text normalization, kasama ng pag-iisa ng alef at hamza.

Nagsasanib na salita. Pinag-iisa rin ng patakaran ang mga salitang sa letrang ito lang nagkakaiba:

Orihinal Kahulugan Pagkatapos ng ة sa ه
كرة bola كره
كره pagkamuhi كره

Para sa search, kadalasang makatwirang kapalit ang paminsan-minsang maling tugma. Para sa entity matching, spelling correction o legal na text, panatilihin ang pagkakaiba at ikumpara ang mga orihinal.

Scoring. Sa evaluation ng speech-to-text, binibilang na word error ang transcript na nagsusulat ng ه kung saan ة ang nasa reference, maliban kung pareho silang na-normalize sa parehong paraan. Magpasya bago mag-score, at sabihin ito.

Sa BroadNet Inference

Hindi nagno-normalize ng text ang API ng BroadNet. Tumatanggap at nagbabalik ang mga chat model ng ة at ه nang eksakto kung paano isinulat, at ordinaryong Arabic text ang ibinabalik ng BroadNet Transcribe Arabic. Ilapat ang patakarang ة sa sarili mong index o scoring code, sa magkabilang panig.

Kung magpapatama ka ng baybay sa chat model, suriin ang mga edit nito sa code: may diff-based na check sa post tungkol sa Arabic spelling correction. Para sa mga index, ipinapakita ng post tungkol sa Arabic RAG search at ng gabay sa normalization kung saan bagay ang patakaran. Masusubukan mo ang patakaran sa sarili mong mga string gamit ang Arabic text normalizer.

Mga tanong

Bakit hindi na lang gawing ة ang ه?

Dahil karaniwang letra ang ه sa sarili nitong karapatan, kasama ang pronoun suffix na nangangahulugang "kaniya" (lalaki). One-way at ligtas ilapat kahit saan ang pagpapalit ng ة sa ه; mag-iimbento naman ng mga letra ang kabaligtaran.

Umiiral ba ang patakarang ة sa ه sa gitna ng salita?

Sa dulo lang ng salita o morpheme lumalabas ang taa marbuta, kaya sa praktika ay mga huling letra lang ang binabago ng patakaran. Pinapalitan ng CAMeL Tools ang bawat ة nang hindi tinitingnan ang posisyon.

Dapat bang ibalik ng spelling correction ang ة?

Puwede, pero nakadepende sa salita, at minsan sa dialect, kung dapat bang ة ang huling ه. Hayaang itama ito ng model, saka suriin ang pagbabago sa code at sa review.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity