BroadRouter

Corrección gramatical y ortográfica del árabe con un LLM: cómo hacerla

Por el equipo de BroadNet Inference · 8 min de lectura · Publicado · Actualizado

Para corregir árabe con un LLM, pida al modelo solo el texto corregido, con el menor número posible de ediciones y sin reformular. Luego compare la respuesta con la entrada en código: rechace las respuestas que cambiaron demasiado y etiquete cada edición por palabra como hamza, taa marbuta, alef maqsura, unión, separación u otra. Evalúe una muestra corregida a mano por ediciones, con precisión, exhaustividad y F0.5.

Corregir textos en árabe parece un prompt de una línea: “corrige este texto”. En la práctica, el modelo además reformula, añade diacríticos, cambia una palabra dialectal por otra formal y explica sus cambios, y usted no puede saber qué ediciones eran necesarias. Este artículo construye un corrector sobre un LLM compatible con OpenAI que hace el menor número de ediciones, verifica la respuesta en código, etiqueta cada edición por tipo de error y evalúa el conjunto como lo hacen los benchmarks de investigación.

¿Qué tan buenos son los LLM corrigiendo la gramática del árabe?

Los benchmarks de referencia son las tareas compartidas QALB. QALB-2014 usó comentarios en árabe estándar moderno del sitio web de Al Jazeera: más de un millón de palabras de texto de entrenamiento con unas 306,000 correcciones, y conjuntos de prueba de unas 50,000 palabras. QALB-2015 añadió una segunda categoría con redacciones de estudiantes de árabe como lengua extranjera (L2). Ambas evaluaron los sistemas por ediciones con el M2 scorer. Las mejores puntuaciones, en F1 (más es mejor):

Conjunto de prueba F1 del mejor sistema Texto
Prueba de QALB-2014 67.91 Comentarios de noticias de hablantes nativos
Prueba de nativos de QALB-2015 72.87 Comentarios de noticias de hablantes nativos
Prueba L2 de QALB-2015 41.20 Redacciones de estudiantes

La fila L2 es la advertencia útil. El texto de estudiantes tiene más errores de elección léxica y palabras que faltan, y el mejor sistema obtuvo una puntuación mucho más baja. Si sus usuarios son estudiantes, espere que sus cifras se parezcan más a esa fila.

Después, Kwon, Bhatia, Nagoudi y Abdul-Mageed (ArabicNLP 2023) ejecutaron ChatGPT y GPT-4 sobre el conjunto de prueba de QALB-2014. Con el mismo evaluador:

Sistema F1
ChatGPT, 1 ejemplo 53.59
ChatGPT, 5 ejemplos 63.98
GPT-4, 5 ejemplos 65.49
AraT5v2, con fine-tuning 67.70

Dos detalles importan para su prompt. Más ejemplos ayudaron mucho. Y los prompts sin ejemplos (zero-shot) y los prompts en árabe dieron respuestas llenas de explicaciones que los autores no pudieron evaluar automáticamente. Un corrector necesita una salida que un programa pueda comparar.

¿Por qué no basta con normalizar el texto?

El normalizador de texto árabe de este sitio elimina el tashkeel y el tatweel, convierte أ إ آ en ا y, opcionalmente, ى en ي y ة en ه. Es el paso correcto para la búsqueda, porque un usuario que escribe احمد debería encontrar أحمد. Es el paso equivocado antes de corregir, porque borra la distinción que el corrector tiene que restaurar. Tras normalizar, انا y أنا son la misma cadena, así que el error de hamza desaparece, y la corrección también.

Guarde tres copias cuando necesite ambas cosas: el texto original, el texto corregido que muestra a los usuarios y una copia normalizada del texto corregido para su índice de búsqueda. Normalización de texto árabe para búsqueda cubre la parte de indexación. Un paso de normalización sí va antes de corregir: Unicode NFC, que une un alif descompuesto más una hamza combinante en un solo carácter, para que la comparación no reporte un cambio inexistente.

¿Qué debe decir el prompt?

Pida ediciones mínimas, nombre los tipos de error que le importan, prohíba los cambios que no quiere y pida solo el texto corregido. Escribir las instrucciones en inglés o en árabe es decisión suya; ingeniería de prompts para árabe explica las ventajas y desventajas. Kwon et al. obtuvieron una salida utilizable con instrucciones en inglés y ejemplos. Añadir de tres a cinco pares de oraciones corregidas de sus propios datos (few-shot) es la mejora más barata que puede probar primero.

Configure la temperatura en 0: quiere la misma corrección cada vez. Si el texto está en un dialecto como el egipcio o el del Golfo, indique si se debe conservar el dialecto. El prompt de abajo supone árabe estándar moderno (MSA) y pide al modelo que no cambie el estilo, lo que también cubre el dialecto.

¿Cómo se verifica la respuesta del modelo?

El código hace una solicitud, mide cuánto difiere la respuesta de la entrada, extrae las ediciones por palabra y etiqueta cada una.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

Lo ejecutamos contra un servidor simulado local con respuestas predefinidas (sin llamada a la API real, ya que el simulador devuelve lo que escribimos). Para ذهبت الى المدرسه و قابلت المعلمه في الصباح, una respuesta ذهبت إلى المدرسة وقابلت المعلمة في الصباح dio cuatro ediciones: الى a إلى (hamza), المدرسه a المدرسة (taa marbuta), و قابلت a وقابلت (merge) y المعلمه a المعلمة (taa marbuta). Para مشي الي listó مشي a مشى (alef maqsura) y الي a إلى (mixed orthography, ya que corrige a la vez la hamza y el alef maqsura). Una respuesta predefinida que convirtió الطقس جميل اليوم en una oración el doble de larga obtuvo una similitud de 0.52, así que el código conservó el original y registró la respuesta.

Notas sobre el código:

  • La protección por similitud es una herramienta tosca. Una oración con muchas faltas puede quedar, legítimamente, cerca de 0.8. Ajuste el umbral con sus propios datos y envíe las respuestas rechazadas a una persona, no a la papelera.
  • max_tokens=2000 deja margen para el razonamiento. La documentación de BroadNet indica que DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder y que el razonamiento cuenta para max_tokens; también puede configurar reasoning_effort en low. Consulte respuestas vacías de los modelos de razonamiento.
  • Las etiquetas de tipo son reglas, no un analizador. “Other” incluye letras que faltan (مسؤل a مسؤول), concordancia y elección de palabras. Para una taxonomía completa, ejecute ARETA (más abajo) sobre los mismos pares.

¿Qué tipos de error debería seguir?

Los organizadores de QALB señalan los alif con hamza y la confusión entre alef maqsura y ya como los errores ortográficos más comunes del árabe. ARETA, el anotador de tipos de error de CAMeL Lab (Belkebir y Habash, CoNLL 2021), usa un conjunto de etiquetas basado en el Arabic Learner Corpus. Sus etiquetas ortográficas incluyen OH (hamza), OT (ha y taa marbuta) y OA (alif y ya), junto a etiquetas morfológicas, sintácticas, semánticas, de puntuación, de unión (MG) y de separación (SP). Su artículo reporta un 85.8% de F1 micropromediado frente a texto de estudiantes etiquetado a mano.

Tipo Incorrecto Correcto Qué falla
Hamza انا، الى، مسأله أنا، إلى، مسألة Hamza ausente, en el soporte equivocado o en el lado equivocado del alif
Taa marbuta المدرسه المدرسة ة final escrita como ه, o al revés
Alef maqsura مشي، علي (preposición) مشى، على ى final escrita como ي; علي también es un nombre, así que decide el contexto
Unión o separación و قابلت، عبدالله وقابلت، عبد الله Espacios alrededor de و y ال, nombres compuestos
Puntuación falta ، o ؟ añadida La puntuación fue donde menos coincidieron los anotadores de QALB

Siga la exhaustividad por tipo. Un modelo que corrige la taa marbuta pero no detecta la hamza tras una preposición necesita ejemplos de ese patrón, no otro modelo.

¿Cómo se evalúa un corrector?

La corrección de errores gramaticales se evalúa por ediciones. Compare las ediciones que convierten el original en una oración de referencia corregida a mano con las ediciones que lo convierten en la salida del modelo. La precisión es la proporción de ediciones del modelo que coinciden con la referencia. La exhaustividad (recall) es la proporción de ediciones de referencia que hizo el modelo. QALB reportó F1; trabajos posteriores, incluido el de Kwon et al., también reportan F0.5, que pondera la precisión el doble que la exhaustividad, porque una “corrección” equivocada molesta más a los usuarios que un error que se pasa por alto.

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

En un conjunto de juguete de dos oraciones con siete ediciones de referencia, en el que la salida omitió la unión y una taa marbuta y añadió un punto final, imprimió P 0.833, R 0.714 y F0.5 0.806, con la exhaustividad por tipo: hamza 2/2, taa marbuta 2/3, merge 0/1.

Es la idea de M2, simplificada. El M2 scorer oficial busca la alineación de las ediciones del sistema que mejor coincide con la referencia, para no penalizar una corrección acertada que se dividió en ediciones de otra manera. Nuestra coincidencia exacta es más estricta. Use el evaluador oficial cuando compare con cifras publicadas (su versión de desarrollo todavía requiere Python 2). ERRANT hace la misma extracción de ediciones, pero solo para inglés.

Construya el conjunto de referencia con texto real de usuarios, de 100 a 200 oraciones, corregidas por un anotador cuidadoso con las mismas reglas de edición mínima que dio al modelo. Ejecute cada modelo y prompt candidato sobre él y compare F0.5 y la exhaustividad por tipo. Cómo evaluar un LLM antes de cambiar explica cómo hacer esa comparación de forma justa.

¿Y Tibyan y los datos sintéticos?

Los datos etiquetados de corrección en árabe son escasos. Alrehili y Alhothali señalan que QALB-14 y QALB-15 juntos contienen unos 20,500 ejemplos paralelos. Su corpus Tibyan (arXiv 2024, publicado después en PeerJ Computer Science) usó ChatGPT para generar pares de oraciones erróneas y correctas a partir de libros sobre errores comunes del árabe, revisados por lingüistas. Contiene unos 600,000 tokens, con siete tipos de error: ortografía, morfología, sintaxis, semántica, puntuación, unión y separación. Los autores dicen que el corpus es público; no encontramos un enlace de descarga para comprobar su licencia. Es útil para ejemplos few-shot y pruebas de estrés, pero es sintético, así que no lo use como prueba de aceptación.

Si necesita una línea base sin LLM, el repositorio arabic-gec de CAMeL Lab publica el código y los modelos de Alhafni et al. (EMNLP 2023). Solo para ortografía, el paquete ar-corrector sugiere palabras del diccionario a una o dos ediciones de distancia; no trata la gramática, y su última versión es de 2021.

¿Qué modelo de BroadNet debería usar?

Los precios son por 1M de tokens, de la página de precios de BroadNet. La salida de una corrección es casi tan larga como la entrada, así que el precio de salida importa.

Modelo Por qué Entrada / salida
Qwen3.8 27B Razonamiento documentado; BroadNet reporta pruebas en árabe que incluyen la comprensión de los dialectos del Golfo y egipcio $0.175 / $2.17
GLM 5.3 Razonamiento documentado; contexto largo para documentos completos $0.78 / $3.46
DeepSeek V4.1 Flash El precio de salida más bajo de los modelos de razonamiento de esta tabla; también disponible en planes de sesión de tarifa plana $0.175 / $0.52
Gemma 4 VL 26B Funciona con el crédito inicial de $5, así que puede construir el pipeline antes de recargar $0.10 / $0.22

Ejecute el evaluador con cada modelo sobre su conjunto de referencia y elija según F0.5 y precio. El árabe suele requerir más tokens por palabra que el inglés; pegue una muestra en el contador de tokens en árabe y estime la factura con la calculadora de costos de API de LLM. Para revisar un archivo grande, BroadNet no tiene Batch API; procesamiento por lotes sin una Batch API muestra cómo ejecutarlo con concurrencia limitada, o en una sesión de DeepSeek por $15 a la semana (una solicitud a la vez por sesión).

Dónde encaja BroadNet Inference

BroadRouter es el sitio de la propia BroadNet. BroadNet Inference ofrece acceso compatible con OpenAI a los modelos anteriores, así que el código funciona con el SDK de OpenAI para Python tras cambiar la URL base. No tiene un endpoint de corrección y no publica un benchmark propio de corrección del árabe, así que mida con su texto. Su declaración de privacidad indica que el contenido de inferencia no se conserva, lo que importa cuando corrige mensajes de clientes. Si necesita un corrector autoalojado para volúmenes muy altos, un modelo con fine-tuning como los de CAMeL Lab puede ser más barato y más consistente; las puntuaciones publicadas arriba son la razón para probar ambos.

Preguntas frecuentes

¿Puede ChatGPT u otro LLM corregir la gramática del árabe?

Sí, con límites. En una prueba publicada sobre el benchmark QALB-2014, GPT-4 con cinco ejemplos alcanzó 65.49 de F1, cerca pero por debajo de un AraT5v2 con fine-tuning, con 67.70. Use un prompt de edición mínima, verifique la respuesta en código y mida con una muestra de su propio texto.

¿Cuáles son los errores ortográficos más comunes en árabe?

La hamza sobre el alif (انا por أنا, الى por إلى), el alef maqsura escrito como ya (مشي por مشى), la taa marbuta escrita como ha (المدرسه por المدرسة) y las palabras separadas o unidas por error, como و قابلت por وقابلت. Los organizadores de QALB señalan los alif con hamza y la confusión entre alef maqsura y ya como los más comunes.

¿Normalizar texto árabe es lo mismo que corregir la ortografía?

No. La normalización fusiona a propósito variantes ortográficas, como أ y ا, para que la búsqueda y la comparación las ignoren. La corrección decide qué variante es la correcta en contexto. Corrija el texto original y normalice solo la copia que indexa para la búsqueda.

¿Cómo evalúo un corrector gramatical de árabe?

Corrija a mano de 100 a 200 oraciones reales con ediciones mínimas. Extraiga las ediciones por palabra del original a la referencia y del original a la salida del modelo, y cuente las ediciones coincidentes para obtener precisión, exhaustividad y F0.5. El M2 scorer que usó QALB hace esto con una alineación de ediciones más inteligente.

¿Existe una biblioteca de Python para corregir la gramática árabe?

Solo para ortografía, ar-corrector sugiere palabras del diccionario a una o dos ediciones de distancia. Para gramática, CAMeL Lab publica modelos y código de investigación para GEC (arabic-gec). Una API de LLM es la forma más rápida de empezar; un modelo con fine-tuning puede ser más consistente a gran volumen.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity

Fuentes