BroadRouter

Arabic text summarization gamit ang LLM: prompt, haba at scoring

Ng BroadNet Inference team · 7 minutong basa · Nailathala · Na-update

Sabihin sa prompt ang register (kadalasan Modern Standard Arabic, kahit dialect ang input) at isang range ng bilang ng salita. Saka mag-check sa code: bilangin ang mga salita, tiyaking nasa source ang bawat numero sa summary, at mag-retry nang isang beses na sinasabi ang problema. Mag-score gamit ang ROUGE tokenizer na marunong sa Arabic at human review; 0 ang ibinibigay ng default na rouge-score sa Arabic.

Isang request lang ang pag-summarise ng Arabic na text gamit ang LLM. Pero para makakuha ng summary na puwedeng i-ship, may tatlong desisyon na hindi ginagawa ng request para sa iyo: anong register ang gagamitin, gaano kahaba ang summary, at paano mo malalaman kung tama ito. Tungkol sa nakasulat na text ang post na ito: mga artikulo, report, ticket at mahahabang thread ng mensahe. Para sa mga meeting na binibigkas, idinadagdag ng Arabic meeting minutes pipeline ang transcription step at ang pagsasama-sama kada section.

Ano ang dapat sabihin ng prompt para sa Arabic summarization?

Limang linya ang nagdadala ng halos lahat ng resulta:

  1. Wika at register. “Modern Standard Arabic” (الفصحى), o isang partikular na dialect. Kung wala ito, puwedeng sumagot sa halo-halong anyo ang model na nagsu-summarise ng Egyptian o Gulf na input.
  2. Range ng bilang ng salita. “40 hanggang 60 salita”. Mas madaling tamaan ang range kaysa eksaktong bilang.
  3. Mga fact gaya ng pagkakasulat. Mga numero, petsa at pangalan na kinopya mula sa text, hindi ni-round o kinonvert.
  4. Walang bago. Walang background na wala sa text.
  5. Hugis. Isang talata, o tatlong bullet point, o JSON na may nakapirming mga field.

Puwedeng Arabic o English ang mga instruction; alinman ang gamitin, sabihin nang malinaw ang output language at register. Mas malalim na tinatalakay ng Arabic prompt engineering ang register, numeral at text na may halong script. Ito ang prompt na ginamit sa code sa ibaba:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Paano i-summarise ang text na naka-dialect?

Hindi MSA ang karamihan ng business text sa Arabic: naka-dialect ang mga customer review, WhatsApp thread at social post, at madalas may halong English o Arabizi. Tatlong pagpili ang nakakatulong:

  • I-summarise sa MSA bilang default. Neutral ito sa iba’t ibang rehiyon at mas madaling i-search. Kung babalik ang summary sa parehong customer, gamitin na lang ang dialect niya.
  • Panatilihing verbatim ang mahahalagang sipi. Humingi ng isang maikling sipi sa orihinal na salita kapag mahalaga ang tono, gaya ng reklamo. Puwedeng lumambot ang dating kapag ini-paraphrase ang dialect sa MSA.
  • I-test sa mga dialect mo. Iba-iba ang pag-unawa ng mga model sa dialect; tingnan ang kung paano hinaharap ng mga LLM ang Gulf at Egyptian Arabic.

Hindi gagawin ng pampublikong data ang test na iyon para sa iyo. MSA na balita ang malalaking Arabic summarization set, at wala kaming nakitang pampublikong Gulf o Egyptian summarization benchmark na maituturo sa iyo.

Paano kontrolin ang haba ng summary?

Humingi sa salita, saka sukatin sa salita. Huwag pagkatiwalaan ang sariling bilang ng model, at huwag gumamit ng token budget bilang unit: iba-iba kada model ang bilang ng token kada Arabic na salita. Sinukat namin ang isang 96-salitang Arabic na talata ng balita sa 166 token gamit ang opisyal na tokenizer ng Qwen3.8 27B, at ang 58-salitang summary nito sa 114 token. Sa mga tokenizer ng apat na chat model ng BroadNet, na binilang gamit ang mga tokenizer file ng Arabic token counter, mula 166 hanggang 224 token ang parehong talata. Nasa Tokens per word sa Arabic ang mas malaking sukat.

Ang pag-split sa whitespace ang tamang bilang para sa karamihan ng gamit, dahil iyon ang nakikita ng mambabasa. Ikinakabit ng Arabic ang و, ب, ل at ال sa salita, kaya mas maraming laman ang 50-salitang Arabic summary kaysa sa 50 salitang English. Itakda ang range mo mula sa mga Arabic na halimbawang gusto mo, hindi mula sa English na target.

Dalawa pang patakaran sa haba:

  • Hindi pangkontrol ng haba ang max_tokens. Pinuputol nito ang sagot sa gitna ng pangungusap. Itakda ito nang mas mataas nang malaki sa laki ng summary, lalo na sa mga reasoning model: ayon sa docs ng BroadNet, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama sa max_tokens ang reasoning na iyon. Tingnan ang mga empty response mula sa reasoning model.
  • Mag-retry nang isang beses, kasama ang numero. Mas marami ang naaayos ng “17 salita ang summary mo; 40 hanggang 60 ang hiningi ko” kaysa sa pag-uulit ng instruction.

Paano mahuli ang mga inimbentong detalye?

Nag-iimbento ang mga abstractive summarizer. Nakita nina Maynez et al. (ACL 2020) ang “substantial amounts of hallucinated content” (salin: malaking dami ng hallucinated na nilalaman) sa lahat ng summary ng model na sinuri ng kanilang mga annotator; bago pa iyon sa mga LLM ngayon, pero walang model na ligtas dito. Hindi mo masusuri nang mura ang kahulugan sa code, pero masusuri mo ang mga numero: dapat nasa source ang bawat numero sa summary. I-map muna ang Eastern Arabic na digit (٠–٩) at Persian na digit (۰–۹) sa 0–9, dahil kung hindi, magmumukhang magkaiba ang ١٢ at 12.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Tinest namin ito sa isang local mock server (walang live API call) gamit ang isang synthetic na 96-salitang artikulo tungkol sa plano ng bus ng isang lungsod. 17 salita ang unang sagot ng mock at ٣٠٠ bus ang sinabi nito samantalang ٢٤٠ ang nasa artikulo. Ibinalik ng check ang dalawang problema: ang nasukat na haba, at “numbers not in the text: 300” (mga numerong wala sa text: 300). Pumasa sa 58 salita ang pangalawa at itinamang sagot, kaya ibinalik ito ng function na may attempts: 2.

May nalalampasan ang number check: maling pangalan, baligtad na desisyon, claim na walang numero. Filter ito, hindi hatol. Para sa mga pangalan, gamitin ulit ang span check mula sa Arabic named entity extraction: kunin ang mga entity sa summary at tiyaking nasa source ang bawat isa.

Paano i-summarise ang mahahabang Arabic na dokumento?

Kung kasya ang text sa context window nang may maluwag na espasyo, ipadala ito nang buo. 262,144 token kada request ang kaya ng Qwen3.8 27B at 1,048,576 ang GLM 5.3, prompt at sagot na magkasama; 32,768 ang Gemma 4 VL 26B. Pero may kilalang kahinaan ang mahahabang input: hindi gaanong maaasahang nagagamit ng mga model ang mga fact sa gitna ng mahabang context (lost in the middle). Para sa mahabang report, i-summarise ang bawat section, saka i-summarise ang mga summary, at panatilihin ang mga heading ng section sa huling prompt. Ipinapakita ng meeting post ang merge step sa code; tinatalakay ng long context vs RAG kung kailan dapat mag-retrieve sa halip.

Paano i-evaluate ang mga Arabic summary?

Gumamit ng tatlong layer: isang awtomatikong overlap score para mahuli ang mga regression, isang semantic score bilang pangalawang opinyon, at mga tao para sa desisyon.

ROUGE, gamit ang tamang tokenizer. Ginagawang lowercase ng rouge-score package ng Google (version 0.1.2, ang kasalukuyang release pa rin sa PyPI noong Nobyembre 16, 2026) ang text at pinapalitan ng space ang bawat character na labas sa a–z at 0–9. Nawawala ang Arabic. Sinuri namin:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Ang parehong dalawang pangungusap ay may score na 0, 0.6 o 0.8 depende lang sa tokenization. Iyan ang tunay na aral: malaki ang epekto ng Arabic morphology (للنقل laban sa النقل, بإضافة laban sa تضيف) sa ROUGE, kaya walang ibig sabihin ang score kung hindi alam ang tokenizer nito. Naglalabas ang mga gumawa ng XL-Sum ng multilingual ROUGE fork na may stemming kada wika, kasama ang Arabic; gamitin iyon, o ang sarili mong tokenizer, at huwag itong baguhin sa lahat ng run na ikinukumpara mo.

BERTScore ang nagkukumpara ng kahulugan sa pamamagitan ng embeddings, kaya tinatanggap nito ang paraphrase. Para sa mga wikang hindi English o Chinese, bert-base-multilingual-cased ang default na model nito. Ituring itong pangalawang signal, hindi kapalit ng pagbabasa.

Mga tao, na may rubric. Ipa-score sa isang Arabic reader ang 50 hanggang 100 summary sa tatlong tanong: may mahalaga bang nawawala, may sinasabi bang wala sa source, at tama ba ang register. Puwedeng mag-pre-screen nang maramihan ang isang LLM judge kapag tugma na ang score nito sa mga reader mo sa isang sample. Tinatalakay ng pag-evaluate ng LLM bago lumipat ang pagbuo ng set na iyon.

Para sa pampublikong reference data:

Dataset Laman Tala
XL-Sum Arabic 46,897 pares ng BBC Arabic na artikulo at summary (37,519 / 4,689 / 4,689) CC BY-NC-SA 4.0: para lang sa non-commercial na research
EASC 153 artikulo, bawat isa may limang extractive summary na gawa ng tao Maliit; Wikipedia at dalawang pahayagan
LANS 8.4 milyong artikulo na may summary mula sa 22 Arab na pahayagan, 1999 hanggang 2019 Galing sa metadata ng site ang mga summary

MSA na balita ang tatlo. Hindi ganoon ang mga support ticket at report mo, kaya ang sample ng sarili mong text, na sinummarise ng tao, ang test na mahalaga.

Aling BroadNet model ang dapat gamitin, at magkano?

Para sa pilot, tumatakbo ang Gemma 4 VL 26B sa $5 na panimulang credit sa $0.10 input at $0.22 output kada 1M token; kasya sa 32,768-token na window nito ang karamihan ng iisang artikulo. Ang Qwen3.8 27B, na ayon sa BroadNet ay sinubukan nito para sa maayos na pagsulat sa Arabic at pag-unawa sa Gulf at Egyptian na dialect, ay $0.175 input at $2.17 output pagkatapos ng top-up. Gamitin ang GLM 5.3 kapag mas mahaba ang isang dokumento kaysa sa window ng Qwen.

Ang kuwenta para sa 10,000 artikulo na tig-1,000 token, na may 150-token na summary: 10 milyong input token at 1.5 milyong output token, kaya sa Qwen3.8 27B, 10 × $0.175 plus 1.5 × $2.17 iyon. Idagdag ang mga reasoning token, na sinisingil bilang output, at ang anumang retry; sukatin pareho sa isang sample mula sa usage block. Kung pareho ang prompt sa bawat artikulo, ilagay ito sa simula para masingil ito sa cached input na rate.

Saan pumapasok ang BroadNet Inference

Ang BroadRouter ay sariling site ng BroadNet. Ginagawa ng BroadNet Inference ang summarization step sa pamamagitan ng OpenAI-compatible API, kaya tumatakbo ang code sa itaas gamit ang OpenAI Python SDK. Ayon sa docs nito, hindi itinatago ang mga prompt at sagot pagkatapos ng request. Wala itong inilalabas na sariling Arabic summarization benchmark, at walang sinusukat dito na kalidad ng summary sa mga model nito; patakbuhin ang mga check sa itaas sa sarili mong mga text. Para sa binibigkas na input, ipares ito sa BroadNet Transcribe Arabic gaya ng sa meeting minutes post.

Mga tanong

Kaya bang i-summarise nang maayos ng LLM ang Arabic na text?

Oo, pero hindi pareho ang maayos basahin at tumpak. I-check sa code ang haba at mga numero, at ipa-score sa isang Arabic reader ang isang sample para sa mga nawawalang punto at inimbentong detalye bago ka umasa rito.

Dapat bang dialect o MSA ang summary ng dialect na text?

Kadalasan MSA, dahil neutral ito at madaling i-search sa iba't ibang rehiyon. Panatilihin sa orihinal na dialect ang maiikling sipi kapag mahalaga ang mismong salita, gaya ng reklamo. Sabihin sa prompt kung alin ang gusto mo; kung hindi, nagpapalipat-lipat ang model sa dalawa.

Bakit 0 ang ROUGE ng mga Arabic summary ko?

Pinapalitan ng malawak na ginagamit na rouge-score Python package ng space ang mga character na labas sa a-z at 0-9 bilang default, kaya walang lumalabas na token sa Arabic na text. Magpasa ng sarili mong tokenizer, o gamitin ang multilingual ROUGE fork ng mga gumawa ng XL-Sum.

Paano ko kokontrolin ang haba ng Arabic summary?

Humingi ng range ng bilang ng salita, hindi bilang ng token, at sukatin ang sagot sa pag-split sa whitespace. Kapag mali, ipadala ulit nang isang beses na kasama ang nasukat na haba. Tandaan na madalas may nakakabit na prefix ang mga Arabic na salita, kaya mas maraming laman ang 50-salitang Arabic summary kaysa sa 50 salitang English.

Anong dataset ang puwede kong gamitin para i-test ang Arabic summarization?

May 46,897 pares ng BBC Arabic na artikulo at summary ang XL-Sum (non-commercial na lisensya). May 153 artikulo ang EASC, bawat isa may limang extractive summary na gawa ng tao. Parehong MSA na balita ang dalawa, kaya magdagdag ng sample ng sarili mong mga text, lalo na ang mga naka-dialect.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity