BroadRouter

Résumé de texte arabe par LLM : prompts, longueur et évaluation

Par l’équipe BroadNet Inference · 7 min de lecture · Publié · Mis à jour

Indiquez dans le prompt le registre (en général l’arabe standard moderne, même pour une entrée en dialecte) et une fourchette de mots. Vérifiez ensuite dans le code : comptez les mots, confirmez que chaque nombre du résumé figure dans la source, et relancez une fois en nommant le problème. Évaluez avec un tokenizer ROUGE adapté à l’arabe et une relecture humaine ; rouge-score par défaut donne 0 en arabe.

Résumer un texte arabe avec un LLM tient en une requête. Obtenir des résumés que vous pouvez livrer exige trois décisions que la requête ne prend pas pour vous : dans quel registre écrire, quelle longueur viser et comment savoir que le résultat est juste. Cet article traite du texte écrit : articles, rapports, tickets et longs fils de messages. Pour les réunions parlées, le pipeline de comptes rendus de réunion en arabe ajoute l’étape de transcription et la fusion section par section.

Que doit dire un prompt de résumé en arabe ?

Cinq lignes font l’essentiel du résultat :

  1. Langue et registre. « Arabe standard moderne » (الفصحى), ou un dialecte nommé. Sans cette consigne, un modèle qui résume une entrée égyptienne ou du Golfe peut répondre dans un mélange des deux.
  2. Une fourchette de mots. « 40 à 60 mots ». Une fourchette est plus facile à tenir qu’un nombre exact.
  3. Les faits tels qu’écrits. Nombres, dates et noms recopiés du texte, ni arrondis ni convertis.
  4. Rien de nouveau. Aucun contexte que le texte ne contient pas.
  5. La forme. Un paragraphe, trois puces, ou du JSON à champs fixes.

Les consignes peuvent être en arabe ou en anglais ; dans les deux cas, indiquez explicitement la langue et le registre de sortie. Le prompt engineering en arabe détaille le registre, les chiffres et le texte en écritures mêlées. Voici le prompt utilisé dans le code plus bas :

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Comment résumer un texte en dialecte ?

La plupart des textes professionnels en arabe ne sont pas en MSA : avis clients, fils WhatsApp et publications sur les réseaux sociaux sont en dialecte, souvent mêlé d’anglais ou d’arabizi. Trois choix aident :

  • Résumer en MSA par défaut. C’est neutre d’une région à l’autre et plus facile à rechercher. Si le résumé est renvoyé au même client, adoptez plutôt son dialecte.
  • Garder les citations clés telles quelles. Demandez une courte citation dans la formulation d’origine quand le ton compte, par exemple pour une réclamation. Reformuler un dialecte en MSA peut l’adoucir.
  • Tester sur vos dialectes. La compréhension des dialectes varie d’un modèle à l’autre ; voyez comment les LLM s’en sortent avec l’arabe du Golfe et l’égyptien.

Les données publiques ne feront pas ce test pour vous. Les grands jeux de résumé en arabe sont des actualités en MSA, et nous n’avons trouvé aucun benchmark public de résumé en arabe du Golfe ou égyptien à vous recommander.

Comment contrôler la longueur du résumé ?

Demandez en mots, puis mesurez en mots. Ne vous fiez pas au décompte du modèle lui-même, et n’utilisez pas un budget de tokens comme unité : le nombre de tokens par mot arabe varie selon le modèle. Nous avons mesuré un paragraphe d’actualité arabe de 96 mots à 166 tokens avec le tokenizer officiel de Qwen3.8 27B, et son résumé de 58 mots à 114 tokens. Avec les tokenizers des quatre modèles de chat de BroadNet, comptés grâce aux fichiers de tokenizer du compteur de tokens arabe, le même paragraphe allait de 166 à 224 tokens. Tokens par mot en arabe présente la mesure plus large.

Découper sur les espaces est le bon décompte dans la plupart des cas, car c’est ce que voient les lecteurs. L’arabe attache و, ب, ل et ال au mot : un résumé de 50 mots arabes porte donc plus de contenu que 50 mots anglais. Fixez votre fourchette à partir d’exemples arabes qui vous conviennent, pas d’une cible anglaise.

Deux autres règles sur la longueur :

  • max_tokens ne contrôle pas la longueur. Il coupe la réponse en pleine phrase. Réglez-le bien au-dessus de la taille du résumé, surtout sur les modèles de raisonnement : selon la documentation de BroadNet, DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et ce raisonnement compte dans max_tokens. Voyez les réponses vides des modèles de raisonnement.
  • Relancer une fois, avec le chiffre. « Votre résumé fait 17 mots ; j’en ai demandé 40 à 60 » corrige davantage que répéter la consigne.

Comment repérer les détails inventés ?

Les modèles de résumé abstractif inventent. Maynez et al. (ACL 2020) ont trouvé « substantial amounts of hallucinated content » (traduction : « des quantités importantes de contenu halluciné ») dans tous les résumés de modèles examinés par leurs annotateurs ; c’était avant les LLM actuels, mais aucun modèle n’est immunisé. Le sens ne se vérifie pas à bas coût dans le code, les nombres si : chaque nombre du résumé doit apparaître dans la source. Convertissez d’abord les chiffres arabes orientaux (٠–٩) et persans (۰–۹) en 0–9, sinon ١٢ et 12 sembleront différents.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Nous avons testé ce code contre un serveur fictif local (aucun appel à l’API réelle), avec un article synthétique de 96 mots sur un plan de bus municipal. La première réponse du serveur fictif faisait 17 mots et parlait de ٣٠٠ bus là où l’article en mentionnait ٢٤٠. check a renvoyé les deux problèmes : la longueur mesurée, et « nombres absents du texte : 300 ». La seconde réponse, corrigée, est passée avec 58 mots, et la fonction l’a renvoyée avec attempts: 2.

La vérification des nombres laisse passer des choses : un nom erroné, une décision inversée, une affirmation sans chiffre. C’est un filtre, pas un verdict. Pour les noms, réutilisez la vérification de segments de l’extraction d’entités nommées en arabe : extrayez les entités du résumé et confirmez que chacune figure dans la source.

Comment résumer de longs documents arabes ?

Si le texte tient dans la fenêtre de contexte avec de la marge, envoyez-le en entier. Qwen3.8 27B accepte 262 144 tokens par requête et GLM 5.3 1 048 576, prompt et réponse compris ; Gemma 4 VL 26B en accepte 32 768. Les entrées longues ont toutefois une faiblesse connue : les modèles exploitent moins fiablement les faits situés au milieu d’un long contexte (lost in the middle). Pour un long rapport, résumez chaque section, puis résumez les résumés, en gardant les titres de section dans le prompt final. L’article sur les réunions montre l’étape de fusion en code ; contexte long ou RAG explique quand passer plutôt par la recherche.

Comment évaluer des résumés arabes ?

Travaillez sur trois niveaux : un score automatique de recouvrement pour repérer les régressions, un score sémantique comme second avis, et des humains pour la décision.

ROUGE, avec le bon tokenizer. Le paquet rouge-score de Google (version 0.1.2, toujours la version actuelle sur PyPI au 16 novembre 2026) met le texte en minuscules et remplace tout caractère hors de a–z et 0–9 par une espace. L’arabe disparaît. Nous avons vérifié :

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Les deux mêmes phrases obtiennent 0, 0,6 ou 0,8 selon la seule tokenisation. C’est la vraie leçon : la morphologie arabe (للنقل contre النقل, بإضافة contre تضيف) fait beaucoup bouger ROUGE, et un score ne veut rien dire sans son tokenizer. Les auteurs de XL-Sum publient un fork ROUGE multilingue avec une racinisation propre à chaque langue, arabe compris ; utilisez-le, ou votre propre tokenizer, et gardez-le identique pour toutes les exécutions que vous comparez.

BERTScore compare le sens au moyen d’embeddings et tolère donc la paraphrase. Pour les langues autres que l’anglais et le chinois, son modèle par défaut est bert-base-multilingual-cased. Traitez-le comme un second signal, pas comme un substitut à la lecture.

Des humains, avec une grille. Faites noter 50 à 100 résumés par un lecteur arabophone selon trois questions : manque-t-il quelque chose d’important, le résumé affirme-t-il quelque chose que la source ne dit pas, et le registre est-il le bon ? Un LLM juge peut faire un premier tri en volume une fois que ses notes concordent avec celles de vos lecteurs sur un échantillon. Évaluer un LLM avant d’en changer explique comment constituer ce jeu.

Données publiques de référence :

Jeu de données Contenu Remarques
XL-Sum arabe 46 897 paires article-résumé de BBC Arabic (37 519 / 4 689 / 4 689) CC BY-NC-SA 4.0 : recherche non commerciale uniquement
EASC 153 articles, cinq résumés extractifs humains chacun Petit ; Wikipédia et deux journaux
LANS 8,4 millions d’articles avec résumés issus de 22 journaux arabes, de 1999 à 2019 Les résumés proviennent des métadonnées des sites

Les trois sont des actualités en MSA. Vos tickets de support et vos rapports n’en sont pas : le test qui compte est un échantillon de vos propres textes, résumé par une personne.

Quel modèle BroadNet utiliser, et combien cela coûte-t-il ?

Pour un pilote, Gemma 4 VL 26B fonctionne avec le crédit de départ de $5, à $0.10 en entrée et $0.22 en sortie par million de tokens ; sa fenêtre de 32 768 tokens contient la plupart des articles isolés. Qwen3.8 27B, que BroadNet dit avoir testé pour l’écriture fluide en arabe et la compréhension des dialectes du Golfe et égyptien, coûte $0.175 en entrée et $2.17 en sortie après une recharge. Utilisez GLM 5.3 quand un document dépasse la fenêtre de Qwen.

Le calcul pour 10 000 articles de 1 000 tokens chacun, avec des résumés de 150 tokens : 10 millions de tokens d’entrée et 1,5 million de tokens de sortie, soit sur Qwen3.8 27B 10 × $0.175 plus 1,5 × $2.17. Ajoutez les tokens de raisonnement, facturés comme de la sortie, et les éventuelles relances ; mesurez les deux sur un échantillon grâce au bloc usage. Si le prompt est le même pour chaque article, placez-le en tête pour qu’il puisse être facturé au tarif de l’entrée en cache.

La place de BroadNet Inference

BroadRouter est le site de BroadNet. BroadNet Inference assure l’étape de résumé via une API compatible OpenAI : le code ci-dessus fonctionne donc avec le SDK Python d’OpenAI. Sa documentation indique que prompts et réponses ne sont pas conservés après la requête. Il ne publie aucun benchmark de résumé en arabe, et rien ici ne mesure la qualité des résumés sur ses modèles ; appliquez les vérifications ci-dessus à vos propres textes. Pour une entrée parlée, associez-le à BroadNet Transcribe Arabic comme dans l’article sur les comptes rendus de réunion.

Questions fréquentes

Un LLM peut-il bien résumer un texte arabe ?

Oui, mais fluide ne veut pas dire exact. Vérifiez longueurs et nombres dans le code, et faites noter un échantillon par un lecteur arabophone (points manquants, détails inventés) avant de vous y fier.

Le résumé d’un texte en dialecte doit-il être en dialecte ou en MSA ?

En général en MSA, parce qu’il paraît neutre et reste interrogeable d’une région à l’autre. Gardez de courtes citations dans le dialecte d’origine quand la formulation compte, par exemple pour une réclamation. Précisez votre choix dans le prompt, sinon les modèles oscillent entre les deux.

Pourquoi ROUGE donne-t-il 0 pour mes résumés arabes ?

Le paquet Python rouge-score, très utilisé, remplace par défaut tout caractère hors de a-z et 0-9 par une espace : le texte arabe ne produit donc aucun token. Passez votre propre tokenizer, ou utilisez le fork ROUGE multilingue des auteurs de XL-Sum.

Comment contrôler la longueur d’un résumé arabe ?

Demandez une fourchette de mots, pas un nombre de tokens, et mesurez la réponse en découpant sur les espaces. Si elle est manquée, renvoyez une fois avec la longueur mesurée. Les mots arabes portent souvent des préfixes attachés : un résumé de 50 mots arabes contient plus de sens que 50 mots anglais.

Quel jeu de données utiliser pour tester le résumé en arabe ?

XL-Sum contient 46 897 paires article-résumé arabes de la BBC (licence non commerciale). EASC compte 153 articles avec chacun cinq résumés extractifs humains. Tous deux sont des actualités en MSA : ajoutez un échantillon de vos propres textes, surtout en dialecte.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity