Relire de l’arabe semble tenir en un prompt d’une ligne : « corrige ce texte ». En pratique, le modèle reformule aussi, ajoute des diacritiques, remplace un mot dialectal par un mot soutenu et explique ses changements, et vous ne pouvez plus savoir quelles éditions étaient nécessaires. Cet article construit, sur un LLM compatible OpenAI, un correcteur qui fait le moins d’éditions possible, contrôle la réponse dans le code, classe chaque édition par type d’erreur et évalue le tout comme le font les benchmarks de recherche.
Les LLM sont-ils bons en correction grammaticale arabe ?
Les benchmarks de référence sont les tâches partagées QALB. QALB-2014 utilisait des commentaires en arabe standard moderne publiés sur le site d’Al Jazeera : plus d’un million de mots d’entraînement avec environ 306 000 corrections, et des jeux de test d’environ 50 000 mots. QALB-2015 a ajouté une seconde piste avec des rédactions d’apprenants de l’arabe langue étrangère (L2). Les deux évaluaient les systèmes sur les éditions avec le M2 scorer. Les meilleurs scores, en F1 (plus haut, c’est mieux) :
| Jeu de test | F1 du meilleur système | Texte |
|---|---|---|
| QALB-2014 test | 67.91 | Commentaires de presse de locuteurs natifs |
| QALB-2015 native test | 72.87 | Commentaires de presse de locuteurs natifs |
| QALB-2015 L2 test | 41.20 | Rédactions d’apprenants |
La ligne L2 est l’avertissement utile. Les textes d’apprenants contiennent plus d’erreurs de choix lexical et de mots manquants, et le meilleur système a obtenu un score bien plus bas. Si vos utilisateurs sont des apprenants, attendez-vous à des chiffres proches de cette ligne.
Kwon, Bhatia, Nagoudi et Abdul-Mageed (ArabicNLP 2023) ont ensuite fait passer ChatGPT et GPT-4 sur le jeu de test QALB-2014. Avec le même scorer :
| Système | F1 |
|---|---|
| ChatGPT, 1 exemple | 53.59 |
| ChatGPT, 5 exemples | 63.98 |
| GPT-4, 5 exemples | 65.49 |
| AraT5v2, affiné | 67.70 |
Deux détails comptent pour votre prompt. Davantage d’exemples aidaient beaucoup. Et les prompts zero-shot ainsi que les prompts rédigés en arabe produisaient des réponses truffées d’explications que les auteurs ne pouvaient pas évaluer automatiquement. Un correcteur a besoin d’une sortie qu’un programme peut comparer par diff.
Pourquoi ne pas simplement normaliser le texte ?
Le normaliseur de texte arabe de ce site retire le tachkil et le tatweel, ramène أ إ آ à ا et, en option, ى à ي et ة à ه. C’est la bonne étape pour la recherche, car un utilisateur qui tape احمد doit trouver أحمد. C’est la mauvaise étape avant une correction, car elle efface la distinction que le correcteur doit rétablir. Après normalisation, انا et أنا sont la même chaîne : la faute de hamza disparaît, et la correction avec.
Gardez trois copies si vous avez besoin des deux : le texte original, le texte corrigé affiché aux utilisateurs, et une copie normalisée du texte corrigé pour votre index de recherche. Normalisation du texte arabe pour la recherche couvre le côté indexation. Une étape de normalisation a pourtant sa place avant la correction : Unicode NFC, qui réunit un alif décomposé et une hamza combinante en un seul caractère, pour que le diff ne signale pas un changement inexistant.
Que doit dire le prompt ?
Demandez des éditions minimales, nommez les types d’erreur qui vous importent, interdisez les changements dont vous ne voulez pas et demandez uniquement le texte corrigé. Rédiger les instructions en anglais ou en arabe est votre choix ; Prompt engineering en arabe détaille le compromis. Kwon et al. ont obtenu des sorties exploitables avec des instructions en anglais accompagnées d’exemples. Ajouter trois à cinq paires de phrases corrigées tirées de vos données (few-shot) est l’amélioration la moins chère à essayer en premier.
Réglez temperature à 0. Vous voulez la même correction à chaque fois. Si le texte est dans un dialecte comme l’égyptien ou l’arabe du Golfe, précisez s’il faut conserver le dialecte. Le prompt ci-dessous suppose de l’arabe standard moderne (MSA) et demande au modèle de ne pas changer le style, ce qui couvre aussi le dialecte.
Comment contrôler la réponse du modèle ?
Le code envoie une requête, mesure à quel point la réponse diffère de l’entrée, extrait les éditions au niveau du mot et classe chacune.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
Nous l’avons exécuté contre un serveur fictif local avec des réponses préenregistrées (aucun appel à l’API réelle, puisque le serveur fictif renvoie ce que nous y avons écrit). Pour ذهبت الى المدرسه و قابلت المعلمه في الصباح, la réponse ذهبت إلى المدرسة وقابلت المعلمة في الصباح a donné quatre éditions : الى en إلى (hamza), المدرسه en المدرسة (taa marbouta), و قابلت en وقابلت (fusion) et المعلمه en المعلمة (taa marbouta). Pour مشي الي, il a listé مشي en مشى (alif maqsoura) et الي en إلى (orthographe mixte, puisque la hamza et l’alif maqsoura sont corrigés à la fois). Une réponse préenregistrée qui transformait الطقس جميل اليوم en une phrase deux fois plus longue a obtenu 0,52 de similarité ; le code a donc gardé l’original et journalisé la réponse.
Remarques sur le code :
- Le garde-fou de similarité est un outil grossier. Une phrase truffée de fautes peut légitimement tomber près de 0,8. Ajustez le seuil sur vos propres données, et envoyez les réponses rejetées à une personne, pas à la corbeille.
max_tokens=2000laisse de la place au raisonnement. D’après la documentation de BroadNet, DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et ce raisonnement compte dansmax_tokens; vous pouvez aussi réglerreasoning_effortsur low. Voir réponses vides des modèles de raisonnement.- Les classes sont des règles, pas un analyseur. La classe « other » regroupe les lettres manquantes (مسؤل en مسؤول), l’accord et le choix des mots. Pour une taxonomie complète, faites passer ARETA (ci-dessous) sur les mêmes paires.
Quelles classes d’erreurs suivre ?
Les organisateurs de QALB citent les alifs à hamza et la confusion alif maqsoura/ya comme les fautes d’orthographe arabes les plus courantes. ARETA, l’annotateur de types d’erreurs du CAMeL Lab (Belkebir et Habash, CoNLL 2021), utilise un jeu d’étiquettes fondé sur l’Arabic Learner Corpus. Ses étiquettes orthographiques comprennent OH (hamza), OT (ha et taa marbouta) et OA (alif et ya), à côté d’étiquettes morphologiques, syntaxiques, sémantiques, de ponctuation, de fusion (MG) et de séparation (SP). Son article annonce 85,8 % de F1 en micro-moyenne face à des textes d’apprenants annotés à la main.
| Classe | Fautif | Correct | Ce qui cloche |
|---|---|---|---|
| Hamza | انا، الى، مسأله | أنا، إلى، مسألة | Hamza absente, sur le mauvais support ou du mauvais côté de l’alif |
| Taa marbouta | المدرسه | المدرسة | ة final écrit ه, ou l’inverse |
| Alif maqsoura | مشي، علي (préposition) | مشى، على | ى final écrit ي ; علي est aussi un prénom, le contexte tranche |
| Fusion ou séparation | و قابلت، عبدالله | وقابلت، عبد الله | Espaces autour de و et ال, noms composés |
| Ponctuation | ، ou ؟ manquant | ajouté | C’est sur la ponctuation que les annotateurs de QALB s’accordaient le moins |
Suivez le rappel par classe. Un modèle qui corrige le taa marbouta mais rate la hamza après une préposition a besoin d’exemples de ce cas, pas d’un autre modèle.
Comment évaluer un correcteur ?
La correction grammaticale s’évalue sur les éditions. Comparez les éditions qui transforment la source en phrase de référence corrigée à la main avec celles qui la transforment en sortie du modèle. La précision est la part des éditions du modèle qui correspondent à la référence. Le rappel est la part des éditions de référence que le modèle a faites. QALB donnait le F1 ; les travaux plus récents, dont Kwon et al., donnent aussi le F0.5, qui pondère la précision deux fois plus que le rappel, car une « correction » fausse agace davantage les utilisateurs qu’une faute oubliée.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
Sur un jeu jouet de deux phrases avec sept éditions de référence, où la sortie ratait la fusion et un taa marbouta et ajoutait un point, il a affiché P 0.833, R 0.714 et F0.5 0.806, avec le rappel par classe : hamza 2/2, taa marbouta 2/3, fusion 0/1.
C’est l’idée du M2, simplifiée. Le M2 scorer officiel cherche l’alignement des éditions du système qui correspond le mieux à la référence, si bien qu’une correction juste découpée autrement que la référence n’est pas pénalisée. Notre correspondance exacte est plus stricte. Utilisez le scorer officiel pour vous comparer à des chiffres publiés (sa version de développement exige encore Python 2). ERRANT fait la même extraction d’éditions, mais pour l’anglais seulement.
Constituez la référence à partir de vrais textes d’utilisateurs, 100 à 200 phrases, corrigées par un annotateur rigoureux avec les mêmes règles de modifications minimales que celles données au modèle. Faites passer chaque modèle et chaque prompt candidat, puis comparez le F0.5 et le rappel par classe. Évaluer un LLM avant d’en changer explique comment mener cette comparaison équitablement.
Et Tibyan, et les données synthétiques ?
Les données annotées de correction arabe sont rares. Alrehili et Alhothali soulignent que QALB-14 et QALB-15 réunissent environ 20 500 exemples parallèles. Leur corpus Tibyan (arXiv 2024, puis PeerJ Computer Science) a utilisé ChatGPT pour générer des paires de phrases fautives et correctes à partir d’ouvrages sur les fautes courantes de l’arabe, relues par des linguistes. Il compte environ 600 000 tokens et sept types d’erreurs : orthographe, morphologie, syntaxe, sémantique, ponctuation, fusion et séparation. Les auteurs indiquent que le corpus est public ; nous n’avons pas trouvé de lien de téléchargement pour vérifier sa licence. Il est utile pour des exemples few-shot et des tests de résistance, mais il est synthétique : ne l’utilisez pas comme test d’acceptation.
S’il vous faut une base de comparaison sans LLM, le dépôt arabic-gec du CAMeL Lab publie le code et les modèles d’Alhafni et al. (EMNLP 2023). Pour l’orthographe seule, le paquet ar-corrector propose des mots du dictionnaire à une ou deux éditions près ; il ne traite pas la grammaire, et sa dernière version date de 2021.
Quel modèle BroadNet utiliser ?
Prix par million de tokens d’après la page des tarifs de BroadNet. La sortie d’une correction est à peu près aussi longue que l’entrée, le prix de sortie compte donc.
| Modèle | Pourquoi | Entrée / sortie |
|---|---|---|
| Qwen3.8 27B | Raisonnement documenté ; BroadNet fait état de tests en arabe, y compris la compréhension des dialectes du Golfe et égyptien | $0.175 / $2.17 |
| GLM 5.3 | Raisonnement documenté ; long contexte pour des documents entiers | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | Prix de sortie le plus bas des modèles de raisonnement présentés ici ; aussi disponible en forfaits de session | $0.175 / $0.52 |
| Gemma 4 VL 26B | Fonctionne avec le crédit de départ de $5, vous pouvez donc construire la chaîne avant de recharger | $0.10 / $0.22 |
Faites tourner le scorer avec chaque modèle sur votre jeu de référence et choisissez selon le F0.5 et le prix. L’arabe demande en général plus de tokens par mot que l’anglais ; collez un échantillon dans le compteur de tokens arabe et estimez la facture avec le calculateur de coût d’API LLM. Pour relire une grande archive, BroadNet n’a pas de Batch API ; traitement par lots sans Batch API montre comment procéder avec une concurrence bornée, ou sur une session DeepSeek à $15 la semaine (une requête à la fois par session).
Où se situe BroadNet Inference
BroadRouter est le site de BroadNet. BroadNet Inference donne un accès compatible OpenAI aux modèles ci-dessus ; le code tourne donc avec le SDK Python d’OpenAI après changement de l’URL de base. Il n’a pas d’endpoint de relecture et ne publie aucun benchmark de correction de l’arabe : mesurez sur vos textes. Sa déclaration de confidentialité indique que le contenu d’inférence n’est pas conservé, ce qui compte quand vous corrigez des messages de clients. S’il vous faut un correcteur auto-hébergé pour de très gros volumes, un modèle affiné comme ceux du CAMeL Lab peut être moins cher et plus constant ; les scores publiés ci-dessus sont la raison de tester les deux.
