BroadRouter
Comenzar

Normalización de texto árabe para búsqueda y RAG: qué cambiar y qué no

Por el equipo de BroadNet Inference · 7 min de lectura · Publicado · Actualizado

Para índices de búsqueda y RAG, normalice igual la copia almacenada y cada consulta: Unicode NFKC, elimine el tashkeel y el tatweel, unifique las formas de alef, convierta ى en ي y ة en ه, y convierta los dígitos. Conserve el texto original para mostrarlo y para el LLM. Trate los soportes de hamza y la ta marbuta como ajustables: aumentan la exhaustividad pero fusionan algunas palabras distintas.

El árabe permite escribir la misma palabra de varias maneras. Un usuario escribe احمد; el documento dice أَحْمَد. Un índice de búsqueda que compara caracteres exactos no encuentra esa coincidencia, y tampoco la mitad de palabras clave de un pipeline RAG. La normalización lo resuelve convirtiendo las variantes en una sola forma antes de compararlas. Hecha sin cuidado, también fusiona palabras que significan cosas distintas. Este artículo repasa regla por regla: qué hace cada una, cuándo aplicarla, qué rompe y en qué difieren las principales bibliotecas. Termina con código Python probado.

Para el pipeline RAG completo en árabe (fragmentación, búsqueda híbrida, respuestas con citas), consulte RAG en árabe que funciona. Este artículo profundiza en el paso de normalización.

¿La normalización mejora realmente la recuperación?

Sí, en la búsqueda por palabras clave, y la evidencia es antigua pero clara. Larkey, Ballesteros y Connell (SIGIR 2002) probaron la recuperación en árabe con la colección de noticias de TREC-2001. Antes del stemming, normalizaron el corpus y las consultas: eliminaron diacríticos y puntuación, unificaron las formas de alef y convirtieron ى y ة al final de palabra. Sus resultados monolingües, con consultas sin expandir:

Procesamiento Precisión media Cambio frente al texto original (a partir de las cifras redondeadas)
Texto original .194 —
Normalizado .238 +22.7%
Normalizado + light stemming (light8) .376 +93.8%

Dos advertencias. Se trata de recuperación por palabras clave sobre noticias en 2002, no de búsqueda por embeddings. Y la mayor mejora vino del light stemming (eliminar prefijos como و y ال y sufijos comunes), que es un paso distinto de la normalización. El ArabicAnalyzer de Lucene y el analizador arabic de Elasticsearch aplican ambos: un normalizador y luego un stemmer ligero.

¿Qué debería normalizar y qué cuesta cada regla?

Regla Ejemplo Índice de búsqueda Riesgo
Unicode NFKC ﻻ → لا, ا + ٔ → أ Sí, siempre primero También reescribe caracteres de compatibilidad de otros alfabetos
Eliminar marcas invisibles zero-width joiners, RLM/LRM, BOM Sí Ninguno para el árabe; el ZWNJ importa en persa
Eliminar el tashkeel أَحْمَدُ → أحمد Sí Fusiona palabras que solo se distinguen por las vocales
Eliminar el tatweel (ـ) الـــمدينة → المدينة Sí Ninguno
Unificar el alef أ إ آ ٱ → ا Sí Fusiona algunos pares: سأل (preguntó) y سال (fluyó)
Alef maqsura ى → ي Normalmente Fusiona على (sobre) y علي (Ali)
Ta marbuta ة → ه Normalmente Fusiona كتابة (escritura) y كتابه (su libro)
Soportes de hamza ؤ ئ → ء Opcional Fusiona مسؤول y مسئول (bien), pero también algunas palabras distintas
Letras persas ی → ي, ک → ك Sí, si los usuarios tienen teclados persas Ninguno para texto árabe
Dígitos ٢٠٢٦ y ۲۰۲۶ → 2026 Sí Ninguno; conserve el original para mostrarlo

La primera columna se refiere a la clave del índice y a la consulta. El texto que almacena, muestra y pasa al modelo se queda como se escribió.

¿Por qué la normalización Unicode debe ir primero?

La misma letra visible puede almacenarse de distintas maneras. أ puede ser un único punto de código (U+0623) o un alef simple seguido de una hamza combinante (U+0627 U+0654). Los PDF antiguos y algunos teclados producen formas de presentación árabes (U+FB50 a U+FEFF), como el lam-alef de un solo carácter ﻻ. En la normalización Unicode, NFC compone la hamza sobre el alef, y NFKC además desempaqueta las formas de presentación y las ligaduras. En Python, unicodedata.normalize("NFKC", "ﻻ") devuelve لا, y ﷲ se convierte en الله.

Ejecute esto antes que cualquier otra cosa. De lo contrario, una expresión regular que reemplaza أ no detecta la forma descompuesta. Hay una segunda trampa: dediac_ar de CAMeL Tools elimina los caracteres de su AR_DIAC_CHARSET (U+064B a U+0652 y U+0670). Ese conjunto deja fuera las marcas combinantes de hamza y madda (U+0653 a U+0655), así que en texto descompuesto sobreviven a la eliminación de diacríticos. NFKC las compone primero.

NFKC es una correspondencia de compatibilidad. También cambia caracteres fuera del árabe, por ejemplo las letras latinas de ancho completo. Normalmente eso es lo que quiere en una clave de búsqueda, y es una razón más para guardar el original al lado.

¿Qué no debería normalizar?

  • El texto que muestra, cita o reproduce. El árabe normalizado parece mal escrito (المدينه). Guarde el original junto a la clave.
  • Lo que envía al LLM. Los modelos leen bien la hamza y el tashkeel, y el texto exacto mantiene correctos los nombres y las citas. Eliminar el tashkeel ahorra algunos tokens; compruebe cuántos con el contador de tokens en árabe antes de sacrificar precisión por ello.
  • Texto en el que las marcas aportan significado: Corán, hadices, poesía, libros infantiles, tareas de pronunciación y de diacritización (consulte añadir diacríticos con un LLM).
  • Corrección ortográfica o gramatical: normalizar primero borra los errores de hamza y de taa marbuta que quiere corregir; consulte corrección gramatical y ortográfica del árabe con un LLM.
  • Identificadores. Los códigos de producto, los correos electrónicos, las URL y el texto latino no deben pasar por reglas del árabe. Aplique la normalización solo a los campos en alfabeto árabe, o solo a los tokens árabes.
  • Campos en los que la gente busca de forma exacta. Para nombres legales o campos tipo identificador, indexe también una copia sin procesar, para que una coincidencia exacta pueda seguir apareciendo primero.

¿En qué se diferencian CAMeL Tools, PyArabic y Lucene?

No implementan las mismas reglas, y mezclarlas produce un índice y unas consultas que nunca coinciden. Leímos la documentación y el código fuente de cada biblioteca y ejecutamos PyArabic 0.6.15:

Función Qué hace realmente
CAMeL normalize_unicode NFKC (o NFC con compatibility=False); además expande ﷼ a ريال y ﷽ a su frase completa
CAMeL normalize_alef_ar إ أ ٱ آ → ا
CAMeL normalize_alef_maksura_ar ى → ي
CAMeL normalize_teh_marbuta_ar ة → ه
CAMeL dediac_ar Elimina de U+064B a U+0652 y U+0670; deja el tatweel
PyArabic strip_tashkeel Elimina todos los harakat, incluida la shadda
PyArabic strip_tatweel Elimina ـ
PyArabic normalize_alef Todas las formas de alef y ى → ا, así que إلى se convierte en الا
PyArabic normalize_hamza El método por defecto convierte todas las formas de hamza en ء, incluida أ, así que أحمد se convierte en ءحمد
Lucene ArabicNormalizer Formas de alef con hamza → ا, ة → ه, ى → ي, elimina harakat y tatweel

Las filas de PyArabic sorprenden. El docstring de normalize_alef dice que el alef maqsura es una excepción, pero en la 0.6.15 el conjunto ALEFAT incluye ى, y la función lo convierte en ا. Su normalize_hamza está pensada para comparaciones que ignoran la hamza, no para la búsqueda general. El orden también importa: ejecute primero la normalización del alef, y entonces normalize_hamza solo toca ؤ, ئ y ء, así que مسؤول y مسئول se convierten ambas en مسءول. Su método tasheel da en cambio مسوول y مسيول, que no coinciden entre sí.

El filtro arabic_normalization de Elasticsearch usa el normalizador de Lucene, así que un pipeline en Python que quiera coincidir con un índice de Elasticsearch debe copiar exactamente las reglas de Lucene. Es decir, ى → ي, no ى → ا.

¿Cómo es un normalizador probado?

Esta función sigue las decisiones de Lucene, añade el tratamiento de Unicode, dígitos y letras persas, y permite activar o desactivar las reglas arriesgadas. Solo usa la biblioteca estándar.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

Lo que devolvió con nuestras cadenas de prueba:

Entrada Salida Nota
أَحْمَدُ احمد Sin tashkeel ni hamza
الـــمدينة المدينه Tatweel y ta marbuta
إلى الي Alef y alef maqsura
ا + U+0654 + مل امل Hamza descompuesta compuesta y luego unificada
ﻻبد لابد Forma de presentación desempaquetada
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 Dígitos arábigo-índicos y persas
مسؤول / مسئول Ambas مسءول con hamza_seats=True Sin cambios por defecto
فارسی فارسي Ya persa

Úsela en dos lugares: al construir la clave del índice y al leer una consulta. Guarde original y normalize(original) uno junto al otro, busque sobre el segundo y devuelva el primero. El normalizador de texto árabe gratuito le permite pegar texto y ver el efecto de cada regla antes de elegir su configuración.

¿Cómo encaja la normalización con los embeddings y RAG?

Un pipeline RAG suele tener dos recuperadores: búsqueda por palabras clave (BM25) y embeddings. La normalización ayuda claramente al lado de las palabras clave. Para el lado de los embeddings, la evidencia anterior no aplica: los modelos de embeddings se entrenan con texto sin procesar, y muchos ya sitúan احمد y أحمد muy cerca. Normalizar antes de generar embeddings puede ayudar, no hacer nada o perjudicar. Cree de 50 a 100 consultas reales con respuestas conocidas, ejecútelas con entrada original y normalizada, y quédese con la que recupere más. Elija lo que elija, aplíquelo igual a documentos y consultas.

La normalización también reduce ligeramente el número de tokens, porque los diacríticos y el tatweel son caracteres adicionales para el tokenizador. Las proporciones medidas están en el conjunto de datos de eficiencia de tokenizadores y en tokens por palabra en árabe. La misma normalización se usa para evaluar con justicia el reconocimiento de voz; consulte el WER en árabe explicado.

El arabizi (árabe en letras latinas) necesita un enfoque totalmente distinto: cómo manejan los LLM el arabizi.

Dónde encaja BroadNet Inference

La normalización se ejecuta en su propio código, así que no necesita ninguna API. BroadNet Inference entra después de la recuperación. No vende embeddings, así que combine un recuperador y un proveedor de embeddings de su elección con un modelo de chat de BroadNet para el paso de respuesta. GLM 5.3 y DeepSeek V4.1 Flash admiten 1,048,576 tokens de contexto, así que puede pasar muchos fragmentos recuperados en su árabe original, sin normalizar. Para elegir un modelo según su calidad en árabe, consulte cómo elegir un LLM para árabe. Si solo necesita búsqueda por palabras clave, el analizador arabic integrado de Elasticsearch puede ser todo lo que necesita.

Preguntas frecuentes

¿Debo eliminar el tashkeel (diacríticos) antes de indexar texto árabe?

Para la búsqueda, sí: la mayoría de las consultas y del texto moderno no lo llevan, así que de otro modo los documentos con diacríticos no coincidirían. Elimínelo de la clave del índice y de la consulta, conserve el texto original para mostrarlo y manténgalo en el Corán, la poesía o las tareas de pronunciación, donde aporta significado.

¿Se debe normalizar la ta marbuta (ة) a ha (ه)?

Normalmente sí para la búsqueda, porque mucha gente escribe ه al final de la palabra. Eso fusiona algunos pares, como كتابة (escritura) y كتابه (su libro). Si esas colisiones importan en su dominio, conserve ة y pruebe ambas opciones.

¿Qué hace la normalización del árabe en Elasticsearch?

El filtro de tokens arabic_normalization usa el ArabicNormalizer de Lucene: formas de alef con hamza a alef simple, ta marbuta a ha, alef maqsura a ya, y eliminación de harakat y tatweel. El analizador arabic integrado añade palabras vacías y un stemmer que elimina artículos, conjunciones y preposiciones unidos, y sufijos comunes.

¿Normalizar el árabe ayuda a la búsqueda por embeddings?

No está demostrado. Las mejoras medidas vienen de la recuperación por palabras clave. Los modelos de embeddings aprenden del texto sin procesar y a menudo manejan las variantes ortográficas, así que cree un pequeño conjunto de consultas reales y compare la exhaustividad con y sin normalización antes de decidir.

¿Debo normalizar el texto árabe antes de enviarlo a un LLM?

En general, no. Envíe el texto original para que las citas, los nombres y las referencias se mantengan exactos. Eliminar el tashkeel ahorra algunos tokens, pero hágalo solo cuando la tarea no necesite las marcas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity