Corregir textos en árabe parece un prompt de una línea: “corrige este texto”. En la práctica, el modelo además reformula, añade diacríticos, cambia una palabra dialectal por otra formal y explica sus cambios, y usted no puede saber qué ediciones eran necesarias. Este artículo construye un corrector sobre un LLM compatible con OpenAI que hace el menor número de ediciones, verifica la respuesta en código, etiqueta cada edición por tipo de error y evalúa el conjunto como lo hacen los benchmarks de investigación.
¿Qué tan buenos son los LLM corrigiendo la gramática del árabe?
Los benchmarks de referencia son las tareas compartidas QALB. QALB-2014 usó comentarios en árabe estándar moderno del sitio web de Al Jazeera: más de un millón de palabras de texto de entrenamiento con unas 306,000 correcciones, y conjuntos de prueba de unas 50,000 palabras. QALB-2015 añadió una segunda categoría con redacciones de estudiantes de árabe como lengua extranjera (L2). Ambas evaluaron los sistemas por ediciones con el M2 scorer. Las mejores puntuaciones, en F1 (más es mejor):
| Conjunto de prueba | F1 del mejor sistema | Texto |
|---|---|---|
| Prueba de QALB-2014 | 67.91 | Comentarios de noticias de hablantes nativos |
| Prueba de nativos de QALB-2015 | 72.87 | Comentarios de noticias de hablantes nativos |
| Prueba L2 de QALB-2015 | 41.20 | Redacciones de estudiantes |
La fila L2 es la advertencia útil. El texto de estudiantes tiene más errores de elección léxica y palabras que faltan, y el mejor sistema obtuvo una puntuación mucho más baja. Si sus usuarios son estudiantes, espere que sus cifras se parezcan más a esa fila.
Después, Kwon, Bhatia, Nagoudi y Abdul-Mageed (ArabicNLP 2023) ejecutaron ChatGPT y GPT-4 sobre el conjunto de prueba de QALB-2014. Con el mismo evaluador:
| Sistema | F1 |
|---|---|
| ChatGPT, 1 ejemplo | 53.59 |
| ChatGPT, 5 ejemplos | 63.98 |
| GPT-4, 5 ejemplos | 65.49 |
| AraT5v2, con fine-tuning | 67.70 |
Dos detalles importan para su prompt. Más ejemplos ayudaron mucho. Y los prompts sin ejemplos (zero-shot) y los prompts en árabe dieron respuestas llenas de explicaciones que los autores no pudieron evaluar automáticamente. Un corrector necesita una salida que un programa pueda comparar.
¿Por qué no basta con normalizar el texto?
El normalizador de texto árabe de este sitio elimina el tashkeel y el tatweel, convierte أ إ آ en ا y, opcionalmente, ى en ي y ة en ه. Es el paso correcto para la búsqueda, porque un usuario que escribe احمد debería encontrar أحمد. Es el paso equivocado antes de corregir, porque borra la distinción que el corrector tiene que restaurar. Tras normalizar, انا y أنا son la misma cadena, así que el error de hamza desaparece, y la corrección también.
Guarde tres copias cuando necesite ambas cosas: el texto original, el texto corregido que muestra a los usuarios y una copia normalizada del texto corregido para su índice de búsqueda. Normalización de texto árabe para búsqueda cubre la parte de indexación. Un paso de normalización sí va antes de corregir: Unicode NFC, que une un alif descompuesto más una hamza combinante en un solo carácter, para que la comparación no reporte un cambio inexistente.
¿Qué debe decir el prompt?
Pida ediciones mínimas, nombre los tipos de error que le importan, prohíba los cambios que no quiere y pida solo el texto corregido. Escribir las instrucciones en inglés o en árabe es decisión suya; ingeniería de prompts para árabe explica las ventajas y desventajas. Kwon et al. obtuvieron una salida utilizable con instrucciones en inglés y ejemplos. Añadir de tres a cinco pares de oraciones corregidas de sus propios datos (few-shot) es la mejora más barata que puede probar primero.
Configure la temperatura en 0: quiere la misma corrección cada vez. Si el texto está en un dialecto como el egipcio o el del Golfo, indique si se debe conservar el dialecto. El prompt de abajo supone árabe estándar moderno (MSA) y pide al modelo que no cambie el estilo, lo que también cubre el dialecto.
¿Cómo se verifica la respuesta del modelo?
El código hace una solicitud, mide cuánto difiere la respuesta de la entrada, extrae las ediciones por palabra y etiqueta cada una.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Lo ejecutamos contra un servidor simulado local con respuestas predefinidas (sin llamada a la API real, ya que el simulador devuelve lo que escribimos). Para ذهبت الى المدرسه و قابلت المعلمه في الصباح, una respuesta ذهبت إلى المدرسة وقابلت المعلمة في الصباح dio cuatro ediciones: الى a إلى (hamza), المدرسه a المدرسة (taa marbuta), و قابلت a وقابلت (merge) y المعلمه a المعلمة (taa marbuta). Para مشي الي listó مشي a مشى (alef maqsura) y الي a إلى (mixed orthography, ya que corrige a la vez la hamza y el alef maqsura). Una respuesta predefinida que convirtió الطقس جميل اليوم en una oración el doble de larga obtuvo una similitud de 0.52, así que el código conservó el original y registró la respuesta.
Notas sobre el código:
- La protección por similitud es una herramienta tosca. Una oración con muchas faltas puede quedar, legítimamente, cerca de 0.8. Ajuste el umbral con sus propios datos y envíe las respuestas rechazadas a una persona, no a la papelera.
max_tokens=2000deja margen para el razonamiento. La documentación de BroadNet indica que DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder y que el razonamiento cuenta paramax_tokens; también puede configurarreasoning_efforten low. Consulte respuestas vacías de los modelos de razonamiento.- Las etiquetas de tipo son reglas, no un analizador. “Other” incluye letras que faltan (مسؤل a مسؤول), concordancia y elección de palabras. Para una taxonomía completa, ejecute ARETA (más abajo) sobre los mismos pares.
¿Qué tipos de error debería seguir?
Los organizadores de QALB señalan los alif con hamza y la confusión entre alef maqsura y ya como los errores ortográficos más comunes del árabe. ARETA, el anotador de tipos de error de CAMeL Lab (Belkebir y Habash, CoNLL 2021), usa un conjunto de etiquetas basado en el Arabic Learner Corpus. Sus etiquetas ortográficas incluyen OH (hamza), OT (ha y taa marbuta) y OA (alif y ya), junto a etiquetas morfológicas, sintácticas, semánticas, de puntuación, de unión (MG) y de separación (SP). Su artículo reporta un 85.8% de F1 micropromediado frente a texto de estudiantes etiquetado a mano.
| Tipo | Incorrecto | Correcto | Qué falla |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | Hamza ausente, en el soporte equivocado o en el lado equivocado del alif |
| Taa marbuta | المدرسه | المدرسة | ة final escrita como ه, o al revés |
| Alef maqsura | مشي، علي (preposición) | مشى، على | ى final escrita como ي; علي también es un nombre, así que decide el contexto |
| Unión o separación | و قابلت، عبدالله | وقابلت، عبد الله | Espacios alrededor de و y ال, nombres compuestos |
| Puntuación | falta ، o ؟ | añadida | La puntuación fue donde menos coincidieron los anotadores de QALB |
Siga la exhaustividad por tipo. Un modelo que corrige la taa marbuta pero no detecta la hamza tras una preposición necesita ejemplos de ese patrón, no otro modelo.
¿Cómo se evalúa un corrector?
La corrección de errores gramaticales se evalúa por ediciones. Compare las ediciones que convierten el original en una oración de referencia corregida a mano con las ediciones que lo convierten en la salida del modelo. La precisión es la proporción de ediciones del modelo que coinciden con la referencia. La exhaustividad (recall) es la proporción de ediciones de referencia que hizo el modelo. QALB reportó F1; trabajos posteriores, incluido el de Kwon et al., también reportan F0.5, que pondera la precisión el doble que la exhaustividad, porque una “corrección” equivocada molesta más a los usuarios que un error que se pasa por alto.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
En un conjunto de juguete de dos oraciones con siete ediciones de referencia, en el que la salida omitió la unión y una taa marbuta y añadió un punto final, imprimió P 0.833, R 0.714 y F0.5 0.806, con la exhaustividad por tipo: hamza 2/2, taa marbuta 2/3, merge 0/1.
Es la idea de M2, simplificada. El M2 scorer oficial busca la alineación de las ediciones del sistema que mejor coincide con la referencia, para no penalizar una corrección acertada que se dividió en ediciones de otra manera. Nuestra coincidencia exacta es más estricta. Use el evaluador oficial cuando compare con cifras publicadas (su versión de desarrollo todavía requiere Python 2). ERRANT hace la misma extracción de ediciones, pero solo para inglés.
Construya el conjunto de referencia con texto real de usuarios, de 100 a 200 oraciones, corregidas por un anotador cuidadoso con las mismas reglas de edición mínima que dio al modelo. Ejecute cada modelo y prompt candidato sobre él y compare F0.5 y la exhaustividad por tipo. Cómo evaluar un LLM antes de cambiar explica cómo hacer esa comparación de forma justa.
¿Y Tibyan y los datos sintéticos?
Los datos etiquetados de corrección en árabe son escasos. Alrehili y Alhothali señalan que QALB-14 y QALB-15 juntos contienen unos 20,500 ejemplos paralelos. Su corpus Tibyan (arXiv 2024, publicado después en PeerJ Computer Science) usó ChatGPT para generar pares de oraciones erróneas y correctas a partir de libros sobre errores comunes del árabe, revisados por lingüistas. Contiene unos 600,000 tokens, con siete tipos de error: ortografía, morfología, sintaxis, semántica, puntuación, unión y separación. Los autores dicen que el corpus es público; no encontramos un enlace de descarga para comprobar su licencia. Es útil para ejemplos few-shot y pruebas de estrés, pero es sintético, así que no lo use como prueba de aceptación.
Si necesita una línea base sin LLM, el repositorio arabic-gec de CAMeL Lab publica el código y los modelos de Alhafni et al. (EMNLP 2023). Solo para ortografía, el paquete ar-corrector sugiere palabras del diccionario a una o dos ediciones de distancia; no trata la gramática, y su última versión es de 2021.
¿Qué modelo de BroadNet debería usar?
Los precios son por 1M de tokens, de la página de precios de BroadNet. La salida de una corrección es casi tan larga como la entrada, así que el precio de salida importa.
| Modelo | Por qué | Entrada / salida |
|---|---|---|
| Qwen3.8 27B | Razonamiento documentado; BroadNet reporta pruebas en árabe que incluyen la comprensión de los dialectos del Golfo y egipcio | $0.175 / $2.17 |
| GLM 5.3 | Razonamiento documentado; contexto largo para documentos completos | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | El precio de salida más bajo de los modelos de razonamiento de esta tabla; también disponible en planes de sesión de tarifa plana | $0.175 / $0.52 |
| Gemma 4 VL 26B | Funciona con el crédito inicial de $5, así que puede construir el pipeline antes de recargar | $0.10 / $0.22 |
Ejecute el evaluador con cada modelo sobre su conjunto de referencia y elija según F0.5 y precio. El árabe suele requerir más tokens por palabra que el inglés; pegue una muestra en el contador de tokens en árabe y estime la factura con la calculadora de costos de API de LLM. Para revisar un archivo grande, BroadNet no tiene Batch API; procesamiento por lotes sin una Batch API muestra cómo ejecutarlo con concurrencia limitada, o en una sesión de DeepSeek por $15 a la semana (una solicitud a la vez por sesión).
Dónde encaja BroadNet Inference
BroadRouter es el sitio de la propia BroadNet. BroadNet Inference ofrece acceso compatible con OpenAI a los modelos anteriores, así que el código funciona con el SDK de OpenAI para Python tras cambiar la URL base. No tiene un endpoint de corrección y no publica un benchmark propio de corrección del árabe, así que mida con su texto. Su declaración de privacidad indica que el contenido de inferencia no se conserva, lo que importa cuando corrige mensajes de clientes. Si necesita un corrector autoalojado para volúmenes muy altos, un modelo con fine-tuning como los de CAMeL Lab puede ser más barato y más consistente; las puntuaciones publicadas arriba son la razón para probar ambos.
