BroadRouter

Tā’ marbūṭa (ta marbuta, ة)

Atualizado em

Ta marbuta (ة, U+0629) é uma letra árabe que só aparece no fim da palavra, muitas vezes marcando substantivos e adjetivos femininos. Ela parece um heh (ه, U+0647) com dois pontos, por isso o texto digitado mistura as duas, e muitos normalizadores de busca convertem ة em ه.

Também chamado de: ta marbuta, tā’ marbūṭa, taa marbuta, teh marbuta, taa marbouta

مدرسة e مدرسه são a mesma palavra, “escola”, para a maioria dos leitores de árabe. Para uma comparação de strings, são diferentes. A culpa é da ta marbuta.

Como funciona

O padrão Unicode classifica TEH MARBUTA (U+0629) como caractere final, que só aparece no fim de uma palavra ou morfema. Ele liga só à direita, ou seja, conecta-se apenas à letra anterior. A forma dele é a do HEH (U+0647) no fim da palavra, mais dois pontos:

Caractere Code point Nome Unicode Forma final depois de ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Como as duas só diferem por dois pontos no fim da palavra, as duas grafias aparecem em texto digitado. Bouamor et al. (2018) observam que, embora o árabe padrão moderno tenha uma ortografia padrão, os dialetos não têm, e as pessoas muitas vezes escrevem as palavras conforme a pronúncia. Então, em texto informal e em árabe dialetal, espere um ه final onde um dicionário escreveria ة.

Normalizadores de busca juntam as duas. O normalize_teh_marbuta_ar do CAMeL Tools é um simples s.replace('ة', 'ه'), e o ArabicNormalizer do Lucene lista “normalization of teh marbuta to heh” (tradução: normalização de teh marbuta para heh) como regra.

Por que isso importa

Recall. Juntar ة com ه permite que uma busca por مدرسه encontre documentos que escrevem مدرسة, e vice-versa. É uma das regras padrão da normalização de texto árabe, junto com a unificação do alef e do hamza.

Palavras fundidas. A regra também faz coincidir palavras que só diferem nessa letra:

Original Significado Depois de ة → ه
كرة bola كره
كره ódio كره

Na busca, um falso positivo de vez em quando costuma ser um preço aceitável. Em correspondência de entidades, correção ortográfica ou textos jurídicos, mantenha a distinção e compare os originais.

Avaliação. Na avaliação de speech-to-text, uma transcrição que escreve ه onde a referência tem ة conta como erro de palavra, a menos que as duas sejam normalizadas do mesmo jeito. Decida antes de calcular a pontuação e informe a escolha.

Na BroadNet Inference

A API da BroadNet não normaliza texto. Os modelos de chat recebem e devolvem ة e ه exatamente como foram escritos, e o BroadNet Transcribe Arabic devolve texto árabe comum. Aplique a regra da ة no seu próprio índice ou código de avaliação, dos dois lados.

Se você pedir a um modelo de chat para corrigir a ortografia, confira as edições no código: o post sobre correção ortográfica em árabe mostra uma verificação baseada em diff. Para índices, o post sobre busca RAG em árabe e o guia de normalização mostram onde a regra entra. Você pode testar a regra nas suas próprias strings com o normalizador de texto árabe.

Perguntas frequentes

Por que não converter ه em ة?

Porque ه é uma letra comum por si só, inclusive no sufixo pronominal que significa "dele". Converter ة em ه é uma via de mão única e seguro em qualquer lugar; o contrário inventaria letras.

A regra de ة para ه vale no meio da palavra?

A ta marbuta só aparece no fim de uma palavra ou morfema, então na prática a regra só muda letras finais. O CAMeL Tools troca toda ة sem verificar a posição.

A correção ortográfica deve restaurar a ة?

Pode, mas se um ه final deveria ser ة depende da palavra e, às vezes, do dialeto. Deixe o modelo corrigir e depois confira a mudança no código e na revisão.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity