BroadRouter

Diacríticos árabes (tashkeel)

Atualizado em

Diacríticos árabes, ou tashkeel, são pequenas marcas escritas acima ou abaixo das letras para indicar vogais curtas, consoantes dobradas e a ausência de vogal. São opcionais: a maior parte do texto árabe, incluindo notícias, não as usa, então leitores e software deduzem as vogais pelo contexto.

Também chamado de: diacríticos árabes, vocalização árabe, sinais vocálicos árabes, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, Arabic diacritics, diacritics, vowel marks

As mesmas três letras árabes podem significar “ele escreveu”, “livros” ou “foi escrito”. São os diacríticos que as diferenciam, e quase todo texto os deixa de fora.

Como funciona

O padrão Unicode chama essas marcas de tashkil e diz que elas “may be written as combining marks” (tradução: podem ser escritas como marcas combinantes), e depois acrescenta: “In normal writing, however, these marks are omitted.” (tradução: Na escrita normal, porém, essas marcas são omitidas.) Harakat é o nome do subconjunto das vogais curtas. Cada marca é um caractere combinante próprio, que vem depois da letra sobre a qual fica. As principais estão no intervalo de U+064B a U+0652:

Code point Nome Função
U+064E FATHA a curto
U+064F DAMMA u curto
U+0650 KASRA i curto
U+064B a U+064D FATHATAN, DAMMATAN, KASRATAN tanween (terminações -an, -un, -in)
U+0651 SHADDA consoante dobrada
U+0652 SUKUN sem vogal

Um exemplo prático com a palavra sem marcas كتب:

  • كَتَبَ (kataba), “ele escreveu”
  • كُتُب (kutub), “livros”
  • كُتِبَ (kutiba), “foi escrito”

Sem marcas, as três são a mesma string. O leitor tira o sentido da frase. O software precisa fazer o mesmo, e esse é o trabalho de um diacritizador. Zerrouki e Balla (2017) montaram o corpus Tashkeela, com cerca de 75,6 milhões de palavras, quase todas de árabe clássico, porque texto totalmente vocalizado é raro e os diacritizadores precisam dele para treinar. Fadel et al. (2019) relatam modelos neurais de diacritização que igualam ou superam trabalhos anteriores em um benchmark público, e mostram que os diacríticos podem ajudar a tradução automática.

As bibliotecas tratam essas marcas como um conjunto só. O AR_DIAC_CHARSET do CAMeL Tools reúne de U+064B a U+0652 mais U+0670 (alef sobrescrito), e a função dediac_ar remove essas marcas.

Por que isso importa

  • Busca e correspondência. A mesma palavra digitada com e sem marcas é uma string diferente. Tire as marcas da chave de busca como parte da normalização de texto árabe, senão as correspondências exatas falham.
  • Tokens. Cada marca é um caractere a mais para o tokenizer. Texto totalmente vocalizado usa bem mais tokens que texto sem marcas; veja o guia de diacritização para as proporções medidas e tokens por palavra em árabe para a base de comparação.
  • Fala e avaliação. As transcrições geralmente voltam sem marcas. Calcule o word error rate depois de remover os diacríticos dos dois textos, senão uma palavra certa com uma fatha a mais conta como erro.
  • Quando você precisa deles. Síntese de voz, ensino de idioma, textos corânicos e poéticos, e nomes que ficam ambíguos sem vogais.

Na BroadNet Inference

A BroadNet não tem endpoint de diacritização. Os modelos de chat recebem o tashkeel como texto comum via POST /v1/chat/completions, então você pode pedir a um modelo como o Qwen3.8 27B que adicione ou remova marcas. O padrão seguro é verificar a resposta no código: remova os diacríticos e compare com a sua entrada, letra por letra. O post sobre diacritização com LLMs traz o prompt e a verificação.

Para remover, não use modelo nenhum. Uma regex curta sobre U+064B a U+0652 é mais rápida, gratuita e exata. O normalizador de texto árabe mostra o efeito no navegador.

Perguntas frequentes

Devo tirar os diacríticos antes de indexar texto em árabe?

Para busca por palavra-chave, normalmente sim, só na chave de busca. Os autores do Tashkeela observam que a maioria dos mecanismos de busca ignora os diacríticos. Mantenha o texto original para exibição e para o LLM.

Por que árabe com diacríticos custa mais tokens?

Cada marca é um caractere Unicode separado, então uma palavra totalmente vocalizada tem mais caracteres para o tokenizer dividir. Conte o seu próprio texto com um contador de tokens antes e depois de adicionar o tashkeel.

Um LLM consegue adicionar diacríticos de forma confiável?

Consegue adicionar, mas também pode trocar letras. Tire as marcas da resposta e compare com a entrada; descarte qualquer resposta em que uma letra tenha mudado.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity