As mesmas três letras árabes podem significar “ele escreveu”, “livros” ou “foi escrito”. São os diacríticos que as diferenciam, e quase todo texto os deixa de fora.
Como funciona
O padrão Unicode chama essas marcas de tashkil e diz que elas “may be written as combining marks” (tradução: podem ser escritas como marcas combinantes), e depois acrescenta: “In normal writing, however, these marks are omitted.” (tradução: Na escrita normal, porém, essas marcas são omitidas.) Harakat é o nome do subconjunto das vogais curtas. Cada marca é um caractere combinante próprio, que vem depois da letra sobre a qual fica. As principais estão no intervalo de U+064B a U+0652:
| Code point | Nome | Função |
|---|---|---|
| U+064E | FATHA | a curto |
| U+064F | DAMMA | u curto |
| U+0650 | KASRA | i curto |
| U+064B a U+064D | FATHATAN, DAMMATAN, KASRATAN | tanween (terminações -an, -un, -in) |
| U+0651 | SHADDA | consoante dobrada |
| U+0652 | SUKUN | sem vogal |
Um exemplo prático com a palavra sem marcas كتب:
- كَتَبَ (kataba), “ele escreveu”
- كُتُب (kutub), “livros”
- كُتِبَ (kutiba), “foi escrito”
Sem marcas, as três são a mesma string. O leitor tira o sentido da frase. O software precisa fazer o mesmo, e esse é o trabalho de um diacritizador. Zerrouki e Balla (2017) montaram o corpus Tashkeela, com cerca de 75,6 milhões de palavras, quase todas de árabe clássico, porque texto totalmente vocalizado é raro e os diacritizadores precisam dele para treinar. Fadel et al. (2019) relatam modelos neurais de diacritização que igualam ou superam trabalhos anteriores em um benchmark público, e mostram que os diacríticos podem ajudar a tradução automática.
As bibliotecas tratam essas marcas como um conjunto só. O AR_DIAC_CHARSET do CAMeL Tools reúne de U+064B a U+0652 mais U+0670 (alef sobrescrito), e a função dediac_ar remove essas marcas.
Por que isso importa
- Busca e correspondência. A mesma palavra digitada com e sem marcas é uma string diferente. Tire as marcas da chave de busca como parte da normalização de texto árabe, senão as correspondências exatas falham.
- Tokens. Cada marca é um caractere a mais para o tokenizer. Texto totalmente vocalizado usa bem mais tokens que texto sem marcas; veja o guia de diacritização para as proporções medidas e tokens por palavra em árabe para a base de comparação.
- Fala e avaliação. As transcrições geralmente voltam sem marcas. Calcule o word error rate depois de remover os diacríticos dos dois textos, senão uma palavra certa com uma fatha a mais conta como erro.
- Quando você precisa deles. Síntese de voz, ensino de idioma, textos corânicos e poéticos, e nomes que ficam ambíguos sem vogais.
Na BroadNet Inference
A BroadNet não tem endpoint de diacritização. Os modelos de chat recebem o tashkeel como texto comum via POST /v1/chat/completions, então você pode pedir a um modelo como o Qwen3.8 27B que adicione ou remova marcas. O padrão seguro é verificar a resposta no código: remova os diacríticos e compare com a sua entrada, letra por letra. O post sobre diacritização com LLMs traz o prompt e a verificação.
Para remover, não use modelo nenhum. Uma regex curta sobre U+064B a U+0652 é mais rápida, gratuita e exata. O normalizador de texto árabe mostra o efeito no navegador.