BroadRouter
Magsimula

Arabic text normalization

Na-update

Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.

Tinatawag ding: Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants, normalisasyon ng Arabic

Iba-iba ang pagta-type ng mga Arabic user sa parehong salita. Normalization ang nagpapa-match sa mga spelling na iyon.

Paano ito gumagana

Ang normalization ay set ng pagpapalit ng character na ginagawa sa naka-store na text at sa mga query. Limang rule ang nakalista sa ArabicNormalizer ng Apache Lucene, na ginagamit ng maraming search engine:

  1. hamza na nakapatong sa alef, gawing alef na walang hamza;
  2. teh marbuta (ة), gawing heh (ه);
  3. dotless yeh, alef maksura (ى), gawing yeh (ي);
  4. pagtatanggal ng harakat (diacritics);
  5. pagtatanggal ng tatweel, ang “stretching character”.

Parehong ideya ang inaalok ng CAMeL Tools bilang magkakahiwalay na function. Minamapa ng normalize_alef_ar nito ang إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) sa ا, minamapa ng normalize_alef_maksura_ar ang ى sa ي, at minamapa ng normalize_teh_marbuta_ar ang ة sa ه. Default na nagpapatakbo ng NFKC ang normalize_unicode, na Unicode normalization at dapat mauna.

Ang tatweel (U+0640, tinatawag ding kashida) ay joining character na inilalarawan ng Unicode Standard para sa justification: kapag isiningit ito sa pagitan ng mga character, humahaba ang linya. Wala itong kahulugan, kaya dapat mag-match ang كتـــاب at كتاب.

Isang halimbawa:

Input Pagkatapos ng normalization Ginamit na rule
إِسْلامٌ اسلام diacritics, alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

Bakit ito mahalaga

Na-normalize nina Larkey, Ballesteros at Connell (2002) ang TREC-2001 Arabic newswire collection sa pamamagitan ng pagtatanggal ng punctuation, diacritics at mga hindi titik, at pagpapalit ng ilang variant ng titik sa iisang anyo. Normalization lang, tumaas na ang monolingual average precision mula .194 hanggang .238. Kapag idinagdag ang kanilang light8 stemmer, umabot ito sa .376.

Ganito rin sa:

  • RAG at keyword search. Dapat mahanap ng query na walang hamza ang dokumentong isinulat na may hamza. Tingnan ang Arabic RAG search.
  • Word error rate. Nakadepende ang Arabic ASR score sa kung pareho ang pag-normalize sa mga reference at transcript. Ipinapakita ng paliwanag sa Arabic WER ang epekto.
  • Deduplication at analytics. Kapag binilang ang mga salita o termino ng user nang walang normalization, nahahati ang iisang salita sa ilan.

Ang kapalit ay mga salitang napagsasama. Kapag pinag-isa ang alef, nagiging iisang string ang magkaibang particle na إن at أن, at pinagsasama ng rule na ة tungong ه ang كرة (bola) at كره (pagkapoot). Ituring na puwedeng i-tune ang mga rule para sa hamza at taa marbuta.

Sa BroadNet Inference

Sa code mo tumatakbo ang normalization, hindi sa API. Tinatanggap ng mga chat at transcription endpoint ng BroadNet ang text o audio mo nang kung ano ito. Magtago ng dalawang kopya: ang orihinal para sa model at sa user, at isang normalized na key para sa matching.

Ginagamit ng libreng Arabic text normalizer ang mga rule na ito sa browser para makita mo kung ano ang binabago ng bawat isa. Nasa gabay sa normalization ang nasubok na Python code at talakayan ng bawat rule.

Mga karaniwang pagkakamali

  • Pag-normalize sa mga dokumento pero hindi sa mga query, o kabaligtaran.
  • Pagpapakita o pag-cite ng normalized na text sa mga user.
  • Paghahalo ng mga library na magkaiba ang rule, gaya ng dalawang magkaibang mapping para sa ى.

Mga tanong

Nakatutulong din ba ang normalization sa embedding search?

Sa keyword search sinukat ang mga klasikong resulta. Para sa embeddings, subukan ang normalized at raw na input sa sarili mong mga query bago magpasya.

Dapat ko bang i-normalize ang text bago ipadala sa LLM?

Kadalasan hindi. Ipadala ang orihinal para makita ng model ang totoong spelling, hamza at diacritics. I-normalize lang ang mga kopyang ima-match, ii-index o isi-score mo.

Pare-pareho ba ang mga rule ng lahat ng library?

Hindi. Parehong minamapa ng CAMeL Tools at Lucene ang alef maksura sa yeh at ang teh marbuta sa heh, pero iba ang ibang library. Pumili ng isang set ng rule at gamitin ito sa mga dokumento at sa mga query.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity