Isang request lang ang pag-summarise ng Arabic na text gamit ang LLM. Pero para makakuha ng summary na puwedeng i-ship, may tatlong desisyon na hindi ginagawa ng request para sa iyo: anong register ang gagamitin, gaano kahaba ang summary, at paano mo malalaman kung tama ito. Tungkol sa nakasulat na text ang post na ito: mga artikulo, report, ticket at mahahabang thread ng mensahe. Para sa mga meeting na binibigkas, idinadagdag ng Arabic meeting minutes pipeline ang transcription step at ang pagsasama-sama kada section.
Ano ang dapat sabihin ng prompt para sa Arabic summarization?
Limang linya ang nagdadala ng halos lahat ng resulta:
- Wika at register. “Modern Standard Arabic” (الفصحى), o isang partikular na dialect. Kung wala ito, puwedeng sumagot sa halo-halong anyo ang model na nagsu-summarise ng Egyptian o Gulf na input.
- Range ng bilang ng salita. “40 hanggang 60 salita”. Mas madaling tamaan ang range kaysa eksaktong bilang.
- Mga fact gaya ng pagkakasulat. Mga numero, petsa at pangalan na kinopya mula sa text, hindi ni-round o kinonvert.
- Walang bago. Walang background na wala sa text.
- Hugis. Isang talata, o tatlong bullet point, o JSON na may nakapirming mga field.
Puwedeng Arabic o English ang mga instruction; alinman ang gamitin, sabihin nang malinaw ang output language at register. Mas malalim na tinatalakay ng Arabic prompt engineering ang register, numeral at text na may halong script. Ito ang prompt na ginamit sa code sa ibaba:
لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
Paano i-summarise ang text na naka-dialect?
Hindi MSA ang karamihan ng business text sa Arabic: naka-dialect ang mga customer review, WhatsApp thread at social post, at madalas may halong English o Arabizi. Tatlong pagpili ang nakakatulong:
- I-summarise sa MSA bilang default. Neutral ito sa iba’t ibang rehiyon at mas madaling i-search. Kung babalik ang summary sa parehong customer, gamitin na lang ang dialect niya.
- Panatilihing verbatim ang mahahalagang sipi. Humingi ng isang maikling sipi sa orihinal na salita kapag mahalaga ang tono, gaya ng reklamo. Puwedeng lumambot ang dating kapag ini-paraphrase ang dialect sa MSA.
- I-test sa mga dialect mo. Iba-iba ang pag-unawa ng mga model sa dialect; tingnan ang kung paano hinaharap ng mga LLM ang Gulf at Egyptian Arabic.
Hindi gagawin ng pampublikong data ang test na iyon para sa iyo. MSA na balita ang malalaking Arabic summarization set, at wala kaming nakitang pampublikong Gulf o Egyptian summarization benchmark na maituturo sa iyo.
Paano kontrolin ang haba ng summary?
Humingi sa salita, saka sukatin sa salita. Huwag pagkatiwalaan ang sariling bilang ng model, at huwag gumamit ng token budget bilang unit: iba-iba kada model ang bilang ng token kada Arabic na salita. Sinukat namin ang isang 96-salitang Arabic na talata ng balita sa 166 token gamit ang opisyal na tokenizer ng Qwen3.8 27B, at ang 58-salitang summary nito sa 114 token. Sa mga tokenizer ng apat na chat model ng BroadNet, na binilang gamit ang mga tokenizer file ng Arabic token counter, mula 166 hanggang 224 token ang parehong talata. Nasa Tokens per word sa Arabic ang mas malaking sukat.
Ang pag-split sa whitespace ang tamang bilang para sa karamihan ng gamit, dahil iyon ang nakikita ng mambabasa. Ikinakabit ng Arabic ang و, ب, ل at ال sa salita, kaya mas maraming laman ang 50-salitang Arabic summary kaysa sa 50 salitang English. Itakda ang range mo mula sa mga Arabic na halimbawang gusto mo, hindi mula sa English na target.
Dalawa pang patakaran sa haba:
- Hindi pangkontrol ng haba ang
max_tokens. Pinuputol nito ang sagot sa gitna ng pangungusap. Itakda ito nang mas mataas nang malaki sa laki ng summary, lalo na sa mga reasoning model: ayon sa docs ng BroadNet, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama samax_tokensang reasoning na iyon. Tingnan ang mga empty response mula sa reasoning model. - Mag-retry nang isang beses, kasama ang numero. Mas marami ang naaayos ng “17 salita ang summary mo; 40 hanggang 60 ang hiningi ko” kaysa sa pag-uulit ng instruction.
Paano mahuli ang mga inimbentong detalye?
Nag-iimbento ang mga abstractive summarizer. Nakita nina Maynez et al. (ACL 2020) ang “substantial amounts of hallucinated content” (salin: malaking dami ng hallucinated na nilalaman) sa lahat ng summary ng model na sinuri ng kanilang mga annotator; bago pa iyon sa mga LLM ngayon, pero walang model na ligtas dito. Hindi mo masusuri nang mura ang kahulugan sa code, pero masusuri mo ang mga numero: dapat nasa source ang bawat numero sa summary. I-map muna ang Eastern Arabic na digit (٠–٩) at Persian na digit (۰–۹) sa 0–9, dahil kung hindi, magmumukhang magkaiba ang ١٢ at 12.
import os, re
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.
النص:
{text}"""
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))
def words(s: str) -> int:
return len(s.split()) # clitics (و، ال، ب) stay attached: count what readers see
def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
issues = []
n = words(summary)
if not lo <= n <= hi:
issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
extra = numbers(summary) - numbers(source)
if extra:
issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
return issues
def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
for i in range(attempts):
r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
summary = (r.choices[0].message.content or "").strip()
issues = check(text, summary, lo, hi)
if not issues:
return {"summary": summary, "attempts": i + 1, "issues": []}
messages += [{"role": "assistant", "content": summary},
{"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
return {"summary": summary, "attempts": attempts, "issues": issues} # send to review
Tinest namin ito sa isang local mock server (walang live API call) gamit ang isang synthetic na 96-salitang artikulo tungkol sa plano ng bus ng isang lungsod. 17 salita ang unang sagot ng mock at ٣٠٠ bus ang sinabi nito samantalang ٢٤٠ ang nasa artikulo. Ibinalik ng check ang dalawang problema: ang nasukat na haba, at “numbers not in the text: 300” (mga numerong wala sa text: 300). Pumasa sa 58 salita ang pangalawa at itinamang sagot, kaya ibinalik ito ng function na may attempts: 2.
May nalalampasan ang number check: maling pangalan, baligtad na desisyon, claim na walang numero. Filter ito, hindi hatol. Para sa mga pangalan, gamitin ulit ang span check mula sa Arabic named entity extraction: kunin ang mga entity sa summary at tiyaking nasa source ang bawat isa.
Paano i-summarise ang mahahabang Arabic na dokumento?
Kung kasya ang text sa context window nang may maluwag na espasyo, ipadala ito nang buo. 262,144 token kada request ang kaya ng Qwen3.8 27B at 1,048,576 ang GLM 5.3, prompt at sagot na magkasama; 32,768 ang Gemma 4 VL 26B. Pero may kilalang kahinaan ang mahahabang input: hindi gaanong maaasahang nagagamit ng mga model ang mga fact sa gitna ng mahabang context (lost in the middle). Para sa mahabang report, i-summarise ang bawat section, saka i-summarise ang mga summary, at panatilihin ang mga heading ng section sa huling prompt. Ipinapakita ng meeting post ang merge step sa code; tinatalakay ng long context vs RAG kung kailan dapat mag-retrieve sa halip.
Paano i-evaluate ang mga Arabic summary?
Gumamit ng tatlong layer: isang awtomatikong overlap score para mahuli ang mga regression, isang semantic score bilang pangalawang opinyon, at mga tao para sa desisyon.
ROUGE, gamit ang tamang tokenizer. Ginagawang lowercase ng rouge-score package ng Google (version 0.1.2, ang kasalukuyang release pa rin sa PyPI noong Nobyembre 16, 2026) ang text at pinapalitan ng space ang bawat character na labas sa a–z at 0–9. Nawawala ang Arabic. Sinuri namin:
import re
from rouge_score import rouge_scorer
ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"
print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure) # 0.0
class ArabicTokenizer:
"""Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
def __init__(self, strip_prefixes=False):
self.strip = strip_prefixes
def tokenize(self, text):
text = re.sub(r"[ً-ٰٟـ]", "", text)
text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
toks = re.findall(r"\w+", text)
if self.strip: # crude: drop و/ب/ل/ال prefixes on longer words
toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
return toks
for strip in (False, True):
s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3)) # False 0.6, True 0.8
Ang parehong dalawang pangungusap ay may score na 0, 0.6 o 0.8 depende lang sa tokenization. Iyan ang tunay na aral: malaki ang epekto ng Arabic morphology (للنقل laban sa النقل, بإضافة laban sa تضيف) sa ROUGE, kaya walang ibig sabihin ang score kung hindi alam ang tokenizer nito. Naglalabas ang mga gumawa ng XL-Sum ng multilingual ROUGE fork na may stemming kada wika, kasama ang Arabic; gamitin iyon, o ang sarili mong tokenizer, at huwag itong baguhin sa lahat ng run na ikinukumpara mo.
BERTScore ang nagkukumpara ng kahulugan sa pamamagitan ng embeddings, kaya tinatanggap nito ang paraphrase. Para sa mga wikang hindi English o Chinese, bert-base-multilingual-cased ang default na model nito. Ituring itong pangalawang signal, hindi kapalit ng pagbabasa.
Mga tao, na may rubric. Ipa-score sa isang Arabic reader ang 50 hanggang 100 summary sa tatlong tanong: may mahalaga bang nawawala, may sinasabi bang wala sa source, at tama ba ang register. Puwedeng mag-pre-screen nang maramihan ang isang LLM judge kapag tugma na ang score nito sa mga reader mo sa isang sample. Tinatalakay ng pag-evaluate ng LLM bago lumipat ang pagbuo ng set na iyon.
Para sa pampublikong reference data:
| Dataset | Laman | Tala |
|---|---|---|
| XL-Sum Arabic | 46,897 pares ng BBC Arabic na artikulo at summary (37,519 / 4,689 / 4,689) | CC BY-NC-SA 4.0: para lang sa non-commercial na research |
| EASC | 153 artikulo, bawat isa may limang extractive summary na gawa ng tao | Maliit; Wikipedia at dalawang pahayagan |
| LANS | 8.4 milyong artikulo na may summary mula sa 22 Arab na pahayagan, 1999 hanggang 2019 | Galing sa metadata ng site ang mga summary |
MSA na balita ang tatlo. Hindi ganoon ang mga support ticket at report mo, kaya ang sample ng sarili mong text, na sinummarise ng tao, ang test na mahalaga.
Aling BroadNet model ang dapat gamitin, at magkano?
Para sa pilot, tumatakbo ang Gemma 4 VL 26B sa $5 na panimulang credit sa $0.10 input at $0.22 output kada 1M token; kasya sa 32,768-token na window nito ang karamihan ng iisang artikulo. Ang Qwen3.8 27B, na ayon sa BroadNet ay sinubukan nito para sa maayos na pagsulat sa Arabic at pag-unawa sa Gulf at Egyptian na dialect, ay $0.175 input at $2.17 output pagkatapos ng top-up. Gamitin ang GLM 5.3 kapag mas mahaba ang isang dokumento kaysa sa window ng Qwen.
Ang kuwenta para sa 10,000 artikulo na tig-1,000 token, na may 150-token na summary: 10 milyong input token at 1.5 milyong output token, kaya sa Qwen3.8 27B, 10 × $0.175 plus 1.5 × $2.17 iyon. Idagdag ang mga reasoning token, na sinisingil bilang output, at ang anumang retry; sukatin pareho sa isang sample mula sa usage block. Kung pareho ang prompt sa bawat artikulo, ilagay ito sa simula para masingil ito sa cached input na rate.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay sariling site ng BroadNet. Ginagawa ng BroadNet Inference ang summarization step sa pamamagitan ng OpenAI-compatible API, kaya tumatakbo ang code sa itaas gamit ang OpenAI Python SDK. Ayon sa docs nito, hindi itinatago ang mga prompt at sagot pagkatapos ng request. Wala itong inilalabas na sariling Arabic summarization benchmark, at walang sinusukat dito na kalidad ng summary sa mga model nito; patakbuhin ang mga check sa itaas sa sarili mong mga text. Para sa binibigkas na input, ipares ito sa BroadNet Transcribe Arabic gaya ng sa meeting minutes post.
