BroadRouter
Inizia

Diacritici arabi (tashkeel)

Aggiornato

I diacritici arabi, o tashkeel, sono piccoli segni scritti sopra o sotto le lettere per indicare le vocali brevi, le consonanti doppie e l’assenza di vocale. Sono facoltativi: quasi tutto il testo arabo, notizie comprese, li omette, quindi lettori e software deducono le vocali dal contesto.

Detto anche: diacritici arabi, vocalizzazione araba, segni vocalici arabi, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, Arabic diacritics, diacritics, vowel marks

Le stesse tre lettere arabe possono voler dire “egli scrisse”, “libri” o “fu scritto”. A distinguerle sono i diacritici, e quasi tutti i testi li omettono.

Come funziona

Lo standard Unicode chiama questi segni tashkil e dice che “may be written as combining marks” (traduzione: possono essere scritti come segni combinanti), poi aggiunge: “In normal writing, however, these marks are omitted.” (traduzione: Nella scrittura normale, però, questi segni vengono omessi.) Harakat è il nome del sottoinsieme delle vocali brevi. Ogni segno è un carattere combinante a sé, che segue la lettera su cui si posa. I principali stanno nell’intervallo da U+064B a U+0652:

Code point Nome Ruolo
U+064E FATHA a breve
U+064F DAMMA u breve
U+0650 KASRA i breve
Da U+064B a U+064D FATHATAN, DAMMATAN, KASRATAN tanween (desinenze -an, -un, -in)
U+0651 SHADDA consonante doppia
U+0652 SUKUN nessuna vocale

Un esempio concreto con la parola nuda كتب:

  • كَتَبَ (kataba), “egli scrisse”
  • كُتُب (kutub), “libri”
  • كُتِبَ (kutiba), “fu scritto”

Senza segni, le tre forme sono la stessa stringa. Il lettore ricava il significato dalla frase. Il software deve fare lo stesso, ed è il compito di un diacritizzatore. Zerrouki e Balla (2017) hanno costruito il corpus Tashkeela, circa 75,6 milioni di parole, per lo più arabo classico, perché il testo completamente vocalizzato è raro e i diacritizzatori ne hanno bisogno per l’addestramento. Fadel et al. (2019) riportano modelli neurali di diacritizzazione che eguagliano o superano i lavori precedenti su un benchmark pubblico, e mostrano che i diacritici possono aiutare la traduzione automatica.

Le librerie trattano questi segni come un unico insieme. AR_DIAC_CHARSET di CAMeL Tools comprende da U+064B a U+0652 più U+0670 (alef in apice), e la sua funzione dediac_ar li rimuove.

Perché è importante

  • Ricerca e corrispondenze. La stessa parola scritta con e senza segni è una stringa diversa. Toglili dalla chiave di ricerca come parte della normalizzazione del testo arabo, altrimenti le corrispondenze esatte falliscono.
  • Token. Ogni segno è un carattere in più per il tokenizer. Il testo completamente vocalizzato usa sensibilmente più token del testo nudo; vedi la guida alla diacritizzazione per i rapporti misurati e token per parola in arabo per la base di partenza.
  • Voce e valutazione. Le trascrizioni di solito tornano senza segni. Calcola il word error rate dopo aver tolto i diacritici da entrambi i testi, altrimenti una parola giusta con una fatha in più conta come errore.
  • Quando servono. Sintesi vocale, insegnamento della lingua, testi coranici e poetici, e nomi ambigui senza vocali.

Su BroadNet Inference

BroadNet non ha un endpoint di diacritizzazione. I modelli di chat ricevono il tashkeel come testo normale tramite POST /v1/chat/completions, quindi puoi chiedere a un modello come Qwen3.8 27B di aggiungere o togliere i segni. Lo schema sicuro è controllare la risposta nel codice: togli i diacritici e confronta con il tuo input, lettera per lettera. Il post sulla diacritizzazione con gli LLM contiene il prompt e il controllo.

Per rimuoverli, non usare affatto un modello. Una breve regex su U+064B–U+0652 è più veloce, gratuita ed esatta. Il normalizzatore di testo arabo mostra l’effetto nel browser.

Domande frequenti

Devo togliere i diacritici prima di indicizzare un testo arabo?

Per la ricerca per parole chiave di solito sì, ma solo sulla chiave di ricerca. Gli autori di Tashkeela osservano che la maggior parte dei motori di ricerca ignora i diacritici. Conserva il testo originale per la visualizzazione e per l’LLM.

Perché l’arabo con i diacritici costa più token?

Ogni segno è un carattere Unicode a sé, quindi una parola completamente vocalizzata ha più caratteri da spezzare per il tokenizer. Conta il tuo testo con un contatore di token prima e dopo aver aggiunto il tashkeel.

Un LLM sa aggiungere i diacritici in modo affidabile?

Sa aggiungerli, ma può anche cambiare qualche lettera. Togli i segni dalla risposta e confrontala con l’input; scarta ogni risposta in cui una lettera è cambiata.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity