Le stesse tre lettere arabe possono voler dire “egli scrisse”, “libri” o “fu scritto”. A distinguerle sono i diacritici, e quasi tutti i testi li omettono.
Come funziona
Lo standard Unicode chiama questi segni tashkil e dice che “may be written as combining marks” (traduzione: possono essere scritti come segni combinanti), poi aggiunge: “In normal writing, however, these marks are omitted.” (traduzione: Nella scrittura normale, però, questi segni vengono omessi.) Harakat è il nome del sottoinsieme delle vocali brevi. Ogni segno è un carattere combinante a sé, che segue la lettera su cui si posa. I principali stanno nell’intervallo da U+064B a U+0652:
| Code point | Nome | Ruolo |
|---|---|---|
| U+064E | FATHA | a breve |
| U+064F | DAMMA | u breve |
| U+0650 | KASRA | i breve |
| Da U+064B a U+064D | FATHATAN, DAMMATAN, KASRATAN | tanween (desinenze -an, -un, -in) |
| U+0651 | SHADDA | consonante doppia |
| U+0652 | SUKUN | nessuna vocale |
Un esempio concreto con la parola nuda كتب:
- كَتَبَ (kataba), “egli scrisse”
- كُتُب (kutub), “libri”
- كُتِبَ (kutiba), “fu scritto”
Senza segni, le tre forme sono la stessa stringa. Il lettore ricava il significato dalla frase. Il software deve fare lo stesso, ed è il compito di un diacritizzatore. Zerrouki e Balla (2017) hanno costruito il corpus Tashkeela, circa 75,6 milioni di parole, per lo più arabo classico, perché il testo completamente vocalizzato è raro e i diacritizzatori ne hanno bisogno per l’addestramento. Fadel et al. (2019) riportano modelli neurali di diacritizzazione che eguagliano o superano i lavori precedenti su un benchmark pubblico, e mostrano che i diacritici possono aiutare la traduzione automatica.
Le librerie trattano questi segni come un unico insieme. AR_DIAC_CHARSET di CAMeL Tools comprende da U+064B a U+0652 più U+0670 (alef in apice), e la sua funzione dediac_ar li rimuove.
Perché è importante
- Ricerca e corrispondenze. La stessa parola scritta con e senza segni è una stringa diversa. Toglili dalla chiave di ricerca come parte della normalizzazione del testo arabo, altrimenti le corrispondenze esatte falliscono.
- Token. Ogni segno è un carattere in più per il tokenizer. Il testo completamente vocalizzato usa sensibilmente più token del testo nudo; vedi la guida alla diacritizzazione per i rapporti misurati e token per parola in arabo per la base di partenza.
- Voce e valutazione. Le trascrizioni di solito tornano senza segni. Calcola il word error rate dopo aver tolto i diacritici da entrambi i testi, altrimenti una parola giusta con una fatha in più conta come errore.
- Quando servono. Sintesi vocale, insegnamento della lingua, testi coranici e poetici, e nomi ambigui senza vocali.
Su BroadNet Inference
BroadNet non ha un endpoint di diacritizzazione. I modelli di chat ricevono il tashkeel come testo normale tramite POST /v1/chat/completions, quindi puoi chiedere a un modello come Qwen3.8 27B di aggiungere o togliere i segni. Lo schema sicuro è controllare la risposta nel codice: togli i diacritici e confronta con il tuo input, lettera per lettera. Il post sulla diacritizzazione con gli LLM contiene il prompt e il controllo.
Per rimuoverli, non usare affatto un modello. Una breve regex su U+064B–U+0652 è più veloce, gratuita ed esatta. Il normalizzatore di testo arabo mostra l’effetto nel browser.