Ang parehong tatlong titik sa Arabic ay puwedeng mangahulugang “sumulat siya”, “mga libro” o “isinulat ito”. Diacritics ang nagpapakita kung alin, at wala ang mga ito sa karamihan ng text.
Paano ito gumagana
Tinatawag ng Unicode Standard ang mga markang ito na tashkil at sinasabing “may be written as combining marks” (Salin ng BroadRouter: “puwedeng isulat bilang combining marks”), saka idinagdag: “In normal writing, however, these marks are omitted.” (Salin ng BroadRouter: “Sa karaniwang pagsulat, gayunman, hindi isinasama ang mga markang ito.”) Harakat ang tawag sa subset para sa maiikling patinig. Bawat marka ay sariling combining character na sumusunod sa titik na pinapatungan nito. Nasa range na U+064B hanggang U+0652 ang mga pangunahin:
| Code point | Pangalan | Gamit |
|---|---|---|
| U+064E | FATHA | maikling a |
| U+064F | DAMMA | maikling u |
| U+0650 | KASRA | maikling i |
| U+064B hanggang U+064D | FATHATAN, DAMMATAN, KASRATAN | tanween (hulaping -an, -un, -in) |
| U+0651 | SHADDA | dobleng katinig |
| U+0652 | SUKUN | walang patinig |
Isang halimbawa gamit ang salitang كتب na walang marka:
- كَتَبَ (kataba), “sumulat siya”
- كُتُب (kutub), “mga libro”
- كُتِبَ (kutiba), “isinulat ito”
Kapag walang marka, iisang string ang tatlo. Pangungusap ang tinitingnan ng mambabasa para malaman ang kahulugan. Ganoon din ang kailangang gawin ng software, at iyan ang trabaho ng diacritizer. Binuo nina Zerrouki at Balla (2017) ang Tashkeela corpus, mga 75.6 milyong salita na karamihan ay Classical Arabic, dahil bihira ang text na kumpleto ang patinig at kailangan ito ng diacritizer sa training. Iniulat nina Fadel et al. (2019) ang mga neural diacritization model na kapantay o mas mahusay pa sa mga naunang gawa sa isang pampublikong benchmark, at ipinakita nilang nakatutulong ang diacritics sa machine translation.
Iisang set ang turing ng mga library sa mga markang ito. Saklaw ng AR_DIAC_CHARSET ng CAMeL Tools ang U+064B hanggang U+0652 kasama ang U+0670 (superscript alef), at tinatanggal ng function nitong dediac_ar ang mga ito.
Bakit ito mahalaga
- Search at matching. Magkaibang string ang parehong salita kapag may marka at kapag wala. Tanggalin ang mga ito sa search key bilang bahagi ng Arabic text normalization, kung hindi ay papalya ang exact match.
- Token. Dagdag na character para sa tokenizer ang bawat marka. Kapansin-pansing mas maraming token ang text na kumpleto ang patinig kaysa sa text na wala; tingnan ang gabay sa diacritization para sa mga nasukat na ratio at ang Arabic tokens per word para sa baseline.
- Speech at evaluation. Kadalasang walang marka ang mga transcript na bumabalik. I-score ang word error rate pagkatapos tanggalin ang diacritics sa parehong text, kung hindi ay bibilangin bilang error ang tamang salita na may sobrang fatha.
- Kailan mo ito kailangan. Text-to-speech, pagtuturo ng wika, text ng Quran at tula, at mga pangalang malabo kapag walang patinig.
Sa BroadNet Inference
Walang diacritization endpoint ang BroadNet. Natatanggap ng mga chat model ang tashkeel bilang ordinaryong text sa POST /v1/chat/completions, kaya puwede mong hilingin sa model gaya ng Qwen3.8 27B na maglagay o magtanggal ng marka. Ang ligtas na paraan ay suriin ang sagot gamit ang code: tanggalin ang diacritics at ikumpara sa input mo, titik sa titik. Nasa post tungkol sa LLM diacritization ang prompt at ang check.
Para sa pagtatanggal, huwag nang gumamit ng model. Mas mabilis, libre at eksakto ang maikling regex sa U+064B hanggang U+0652. Makikita sa browser ang epekto gamit ang Arabic text normalizer.