مدرسة y مدرسه son la misma palabra, “escuela”, para la mayoría de los lectores de árabe. Para una comparación de cadenas son distintas. La taa marbuta es la razón.
Cómo funciona
El estándar Unicode clasifica TEH MARBUTA (U+0629) como un carácter final, que solo aparece al final de una palabra o morfema. Se une solo por la derecha, así que se conecta únicamente con la letra anterior. Su forma es la de HEH (U+0647) al final de palabra, más dos puntos:
| Carácter | Punto de código | Nombre Unicode | Forma final tras ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Como las dos solo se diferencian por dos puntos al final de la palabra, ambas grafías aparecen en el texto escrito. Bouamor et al. (2018) señalan que, aunque el árabe estándar moderno tiene una ortografía normalizada, los dialectos no la tienen, y la gente suele escribir las palabras según su pronunciación. Por eso, en el texto informal y en el árabe dialectal, espere una ه final donde un diccionario escribiría ة.
Los normalizadores de búsqueda unifican las dos. normalize_teh_marbuta_ar de CAMeL Tools es un simple s.replace('ة', 'ه'), y el ArabicNormalizer de Lucene incluye la regla “normalization of teh marbuta to heh” (traducción: normalización de teh marbuta a heh).
Por qué importa
Recall. Unificar ة en ه permite que una consulta por مدرسه encuentre documentos que escriben مدرسة, y viceversa. Es una de las reglas estándar de la normalización de texto árabe, junto con la unificación de alef y de hamza.
Palabras fusionadas. La regla también colapsa palabras que solo se diferencian en esta letra:
| Original | Significado | Tras ة a ه |
|---|---|---|
| كرة | pelota | كره |
| كره | odio | كره |
En búsqueda, alguna coincidencia falsa ocasional suele ser un precio razonable. En la vinculación de entidades, la corrección ortográfica o los textos legales, mantenga la distinción y compare los originales.
Evaluación. En la evaluación de voz a texto, una transcripción que escribe ه donde la referencia tiene ة cuenta como error de palabra, salvo que ambas se normalicen igual. Decídalo antes de evaluar e indíquelo.
En BroadNet Inference
La API de BroadNet no normaliza el texto. Los modelos de chat reciben y devuelven ة y ه tal como se escribieron, y BroadNet Transcribe Arabic devuelve texto árabe normal. Aplique la regla de ة en su propio índice o código de evaluación, en ambos lados.
Si pide a un modelo de chat que corrija la ortografía, verifique sus ediciones en el código: el artículo sobre corrección ortográfica en árabe muestra una comprobación basada en diffs. Para índices, el artículo sobre búsqueda RAG en árabe y la guía de normalización muestran dónde encaja la regla. Puede probar la regla con sus propias cadenas en el normalizador de texto árabe.