BroadRouter

Taa marbuta (ة)

Actualizado

La taa marbuta (ة, U+0629) es una letra árabe que solo aparece al final de una palabra y suele marcar sustantivos y adjetivos femeninos. Se parece a la heh (ه, U+0647) con dos puntos, por lo que el texto escrito mezcla ambas, y muchos normalizadores de búsqueda convierten ة en ه.

También llamado: letra ة, ta marbuta, teh marbuta, taa marbouta

مدرسة y مدرسه son la misma palabra, “escuela”, para la mayoría de los lectores de árabe. Para una comparación de cadenas son distintas. La taa marbuta es la razón.

Cómo funciona

El estándar Unicode clasifica TEH MARBUTA (U+0629) como un carácter final, que solo aparece al final de una palabra o morfema. Se une solo por la derecha, así que se conecta únicamente con la letra anterior. Su forma es la de HEH (U+0647) al final de palabra, más dos puntos:

Carácter Punto de código Nombre Unicode Forma final tras ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Como las dos solo se diferencian por dos puntos al final de la palabra, ambas grafías aparecen en el texto escrito. Bouamor et al. (2018) señalan que, aunque el árabe estándar moderno tiene una ortografía normalizada, los dialectos no la tienen, y la gente suele escribir las palabras según su pronunciación. Por eso, en el texto informal y en el árabe dialectal, espere una ه final donde un diccionario escribiría ة.

Los normalizadores de búsqueda unifican las dos. normalize_teh_marbuta_ar de CAMeL Tools es un simple s.replace('ة', 'ه'), y el ArabicNormalizer de Lucene incluye la regla “normalization of teh marbuta to heh” (traducción: normalización de teh marbuta a heh).

Por qué importa

Recall. Unificar ة en ه permite que una consulta por مدرسه encuentre documentos que escriben مدرسة, y viceversa. Es una de las reglas estándar de la normalización de texto árabe, junto con la unificación de alef y de hamza.

Palabras fusionadas. La regla también colapsa palabras que solo se diferencian en esta letra:

Original Significado Tras ة a ه
كرة pelota كره
كره odio كره

En búsqueda, alguna coincidencia falsa ocasional suele ser un precio razonable. En la vinculación de entidades, la corrección ortográfica o los textos legales, mantenga la distinción y compare los originales.

Evaluación. En la evaluación de voz a texto, una transcripción que escribe ه donde la referencia tiene ة cuenta como error de palabra, salvo que ambas se normalicen igual. Decídalo antes de evaluar e indíquelo.

En BroadNet Inference

La API de BroadNet no normaliza el texto. Los modelos de chat reciben y devuelven ة y ه tal como se escribieron, y BroadNet Transcribe Arabic devuelve texto árabe normal. Aplique la regla de ة en su propio índice o código de evaluación, en ambos lados.

Si pide a un modelo de chat que corrija la ortografía, verifique sus ediciones en el código: el artículo sobre corrección ortográfica en árabe muestra una comprobación basada en diffs. Para índices, el artículo sobre búsqueda RAG en árabe y la guía de normalización muestran dónde encaja la regla. Puede probar la regla con sus propias cadenas en el normalizador de texto árabe.

Preguntas frecuentes

¿Por qué no convertir ه en ة en su lugar?

Porque ه es una letra común por sí misma, incluido el sufijo pronominal que significa "su" (de él). Convertir ة en ه va en un solo sentido y es seguro aplicarlo en todas partes; lo contrario inventaría letras.

¿La regla de ة a ه se aplica en medio de una palabra?

La taa marbuta solo aparece al final de una palabra o morfema, así que en la práctica la regla solo cambia letras finales. CAMeL Tools reemplaza todas las ة sin comprobar la posición.

¿La corrección ortográfica debe restaurar la ة?

Puede hacerlo, pero que una ه final deba ser ة depende de la palabra y a veces del dialecto. Deje que el modelo la corrija y luego verifique el cambio en el código y en la revisión.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity