Iba-iba ang pagta-type ng mga Arabic user sa parehong salita. Normalization ang nagpapa-match sa mga spelling na iyon.
Paano ito gumagana
Ang normalization ay set ng pagpapalit ng character na ginagawa sa naka-store na text at sa mga query. Limang rule ang nakalista sa ArabicNormalizer ng Apache Lucene, na ginagamit ng maraming search engine:
- hamza na nakapatong sa alef, gawing alef na walang hamza;
- teh marbuta (ة), gawing heh (ه);
- dotless yeh, alef maksura (ى), gawing yeh (ي);
- pagtatanggal ng harakat (diacritics);
- pagtatanggal ng tatweel, ang “stretching character”.
Parehong ideya ang inaalok ng CAMeL Tools bilang magkakahiwalay na function. Minamapa ng normalize_alef_ar nito ang إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) sa ا, minamapa ng normalize_alef_maksura_ar ang ى sa ي, at minamapa ng normalize_teh_marbuta_ar ang ة sa ه. Default na nagpapatakbo ng NFKC ang normalize_unicode, na Unicode normalization at dapat mauna.
Ang tatweel (U+0640, tinatawag ding kashida) ay joining character na inilalarawan ng Unicode Standard para sa justification: kapag isiningit ito sa pagitan ng mga character, humahaba ang linya. Wala itong kahulugan, kaya dapat mag-match ang كتـــاب at كتاب.
Isang halimbawa:
| Input | Pagkatapos ng normalization | Ginamit na rule |
|---|---|---|
| إِسْلامٌ | اسلام | diacritics, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
Bakit ito mahalaga
Na-normalize nina Larkey, Ballesteros at Connell (2002) ang TREC-2001 Arabic newswire collection sa pamamagitan ng pagtatanggal ng punctuation, diacritics at mga hindi titik, at pagpapalit ng ilang variant ng titik sa iisang anyo. Normalization lang, tumaas na ang monolingual average precision mula .194 hanggang .238. Kapag idinagdag ang kanilang light8 stemmer, umabot ito sa .376.
Ganito rin sa:
- RAG at keyword search. Dapat mahanap ng query na walang hamza ang dokumentong isinulat na may hamza. Tingnan ang Arabic RAG search.
- Word error rate. Nakadepende ang Arabic ASR score sa kung pareho ang pag-normalize sa mga reference at transcript. Ipinapakita ng paliwanag sa Arabic WER ang epekto.
- Deduplication at analytics. Kapag binilang ang mga salita o termino ng user nang walang normalization, nahahati ang iisang salita sa ilan.
Ang kapalit ay mga salitang napagsasama. Kapag pinag-isa ang alef, nagiging iisang string ang magkaibang particle na إن at أن, at pinagsasama ng rule na ة tungong ه ang كرة (bola) at كره (pagkapoot). Ituring na puwedeng i-tune ang mga rule para sa hamza at taa marbuta.
Sa BroadNet Inference
Sa code mo tumatakbo ang normalization, hindi sa API. Tinatanggap ng mga chat at transcription endpoint ng BroadNet ang text o audio mo nang kung ano ito. Magtago ng dalawang kopya: ang orihinal para sa model at sa user, at isang normalized na key para sa matching.
Ginagamit ng libreng Arabic text normalizer ang mga rule na ito sa browser para makita mo kung ano ang binabago ng bawat isa. Nasa gabay sa normalization ang nasubok na Python code at talakayan ng bawat rule.
Mga karaniwang pagkakamali
- Pag-normalize sa mga dokumento pero hindi sa mga query, o kabaligtaran.
- Pagpapakita o pag-cite ng normalized na text sa mga user.
- Paghahalo ng mga library na magkaiba ang rule, gaya ng dalawang magkaibang mapping para sa ى.