BroadRouter

Arabic diacritics (tashkeel)

Na-update

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

Tinatawag ding: tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks, marka ng patinig, tuldik sa Arabic

Ang parehong tatlong titik sa Arabic ay puwedeng mangahulugang “sumulat siya”, “mga libro” o “isinulat ito”. Diacritics ang nagpapakita kung alin, at wala ang mga ito sa karamihan ng text.

Paano ito gumagana

Tinatawag ng Unicode Standard ang mga markang ito na tashkil at sinasabing “may be written as combining marks” (Salin ng BroadRouter: “puwedeng isulat bilang combining marks”), saka idinagdag: “In normal writing, however, these marks are omitted.” (Salin ng BroadRouter: “Sa karaniwang pagsulat, gayunman, hindi isinasama ang mga markang ito.”) Harakat ang tawag sa subset para sa maiikling patinig. Bawat marka ay sariling combining character na sumusunod sa titik na pinapatungan nito. Nasa range na U+064B hanggang U+0652 ang mga pangunahin:

Code point Pangalan Gamit
U+064E FATHA maikling a
U+064F DAMMA maikling u
U+0650 KASRA maikling i
U+064B hanggang U+064D FATHATAN, DAMMATAN, KASRATAN tanween (hulaping -an, -un, -in)
U+0651 SHADDA dobleng katinig
U+0652 SUKUN walang patinig

Isang halimbawa gamit ang salitang كتب na walang marka:

  • كَتَبَ (kataba), “sumulat siya”
  • كُتُب (kutub), “mga libro”
  • كُتِبَ (kutiba), “isinulat ito”

Kapag walang marka, iisang string ang tatlo. Pangungusap ang tinitingnan ng mambabasa para malaman ang kahulugan. Ganoon din ang kailangang gawin ng software, at iyan ang trabaho ng diacritizer. Binuo nina Zerrouki at Balla (2017) ang Tashkeela corpus, mga 75.6 milyong salita na karamihan ay Classical Arabic, dahil bihira ang text na kumpleto ang patinig at kailangan ito ng diacritizer sa training. Iniulat nina Fadel et al. (2019) ang mga neural diacritization model na kapantay o mas mahusay pa sa mga naunang gawa sa isang pampublikong benchmark, at ipinakita nilang nakatutulong ang diacritics sa machine translation.

Iisang set ang turing ng mga library sa mga markang ito. Saklaw ng AR_DIAC_CHARSET ng CAMeL Tools ang U+064B hanggang U+0652 kasama ang U+0670 (superscript alef), at tinatanggal ng function nitong dediac_ar ang mga ito.

Bakit ito mahalaga

  • Search at matching. Magkaibang string ang parehong salita kapag may marka at kapag wala. Tanggalin ang mga ito sa search key bilang bahagi ng Arabic text normalization, kung hindi ay papalya ang exact match.
  • Token. Dagdag na character para sa tokenizer ang bawat marka. Kapansin-pansing mas maraming token ang text na kumpleto ang patinig kaysa sa text na wala; tingnan ang gabay sa diacritization para sa mga nasukat na ratio at ang Arabic tokens per word para sa baseline.
  • Speech at evaluation. Kadalasang walang marka ang mga transcript na bumabalik. I-score ang word error rate pagkatapos tanggalin ang diacritics sa parehong text, kung hindi ay bibilangin bilang error ang tamang salita na may sobrang fatha.
  • Kailan mo ito kailangan. Text-to-speech, pagtuturo ng wika, text ng Quran at tula, at mga pangalang malabo kapag walang patinig.

Sa BroadNet Inference

Walang diacritization endpoint ang BroadNet. Natatanggap ng mga chat model ang tashkeel bilang ordinaryong text sa POST /v1/chat/completions, kaya puwede mong hilingin sa model gaya ng Qwen3.8 27B na maglagay o magtanggal ng marka. Ang ligtas na paraan ay suriin ang sagot gamit ang code: tanggalin ang diacritics at ikumpara sa input mo, titik sa titik. Nasa post tungkol sa LLM diacritization ang prompt at ang check.

Para sa pagtatanggal, huwag nang gumamit ng model. Mas mabilis, libre at eksakto ang maikling regex sa U+064B hanggang U+0652. Makikita sa browser ang epekto gamit ang Arabic text normalizer.

Mga tanong

Dapat ko bang tanggalin ang diacritics bago i-index ang Arabic text?

Para sa keyword search, kadalasan oo, pero sa search key lang. Ayon sa mga gumawa ng Tashkeela, hindi pinapansin ng karamihan ng search engine ang diacritics. Itago ang orihinal na text para sa display at para sa LLM.

Bakit mas maraming token ang Arabic na may diacritics?

Hiwalay na Unicode character ang bawat marka, kaya mas maraming character na hahatiin ng tokenizer sa salitang kumpleto ang patinig. Bilangin ang sarili mong text gamit ang token counter bago at pagkatapos lagyan ng tashkeel.

Maaasahan ba ang LLM sa paglalagay ng diacritics?

Kaya nitong maglagay, pero puwede rin nitong mabago ang mga titik. Tanggalin ang mga marka sa sagot at ikumpara sa input; i-reject ang anumang sagot na may nabagong titik.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity