BroadRouter

Meringkas teks bahasa Arab dengan LLM: prompt, panjang, dan penilaian

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan · Diperbarui

Sebutkan register (biasanya bahasa Arab Standar Modern, bahkan untuk input dialek) dan rentang jumlah kata di prompt. Lalu cek di kode: hitung kata, pastikan setiap angka di ringkasan muncul di sumber, dan ulangi sekali dengan menyebutkan masalahnya. Nilai dengan tokenizer ROUGE yang paham bahasa Arab plus tinjauan manusia; rouge-score bawaan memberi bahasa Arab skor 0.

Meringkas teks bahasa Arab dengan LLM cukup satu permintaan. Mendapatkan ringkasan yang layak dirilis butuh tiga keputusan yang tidak diambil oleh permintaan itu: register apa yang dipakai, seberapa panjang ringkasannya, dan bagaimana Anda tahu ringkasan itu benar. Artikel ini membahas teks tertulis: artikel, laporan, tiket, dan utas pesan panjang. Untuk rapat lisan, pipeline notulen rapat bahasa Arab menambahkan langkah transkripsi dan penggabungan per bagian.

Apa yang harus disebutkan dalam prompt ringkasan bahasa Arab?

Lima baris menentukan sebagian besar hasil:

  1. Bahasa dan register. “Bahasa Arab Standar Modern” (الفصحى), atau dialek tertentu. Tanpa itu, model yang meringkas input Mesir atau Teluk bisa menjawab dengan campuran.
  2. Rentang jumlah kata. “40 sampai 60 kata”. Rentang lebih mudah dipenuhi daripada jumlah persis.
  3. Fakta sesuai tulisan. Angka, tanggal, dan nama disalin dari teks, tidak dibulatkan atau dikonversi.
  4. Tidak ada yang baru. Tidak ada latar belakang yang tidak ada di teks.
  5. Bentuk. Satu paragraf, tiga poin, atau JSON dengan field tetap.

Instruksi boleh dalam bahasa Arab atau Inggris; apa pun pilihannya, sebutkan bahasa dan register output secara eksplisit. Prompt engineering bahasa Arab membahas register, angka, dan teks campuran aksara lebih dalam. Berikut prompt yang dipakai di kode di bawah:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Bagaimana meringkas teks dialek?

Sebagian besar teks bisnis berbahasa Arab bukan MSA: ulasan pelanggan, utas WhatsApp, dan postingan media sosial ditulis dalam dialek, sering bercampur bahasa Inggris atau Arabizi. Tiga pilihan membantu:

  • Ringkas ke MSA secara default. MSA netral di semua wilayah dan lebih mudah dicari. Jika ringkasan dikirim kembali ke pelanggan yang sama, sesuaikan dengan dialeknya.
  • Pertahankan kutipan penting apa adanya. Minta satu kutipan pendek dengan kata-kata asli ketika nada penting, misalnya keluhan. Memparafrasekan dialek ke MSA bisa melunakkannya.
  • Uji pada dialek Anda. Pemahaman dialek berbeda antarmodel; lihat bagaimana LLM menangani bahasa Arab Teluk dan Mesir.

Data publik tidak akan melakukan pengujian itu untuk Anda. Set ringkasan bahasa Arab yang besar adalah berita MSA, dan kami tidak menemukan benchmark ringkasan Teluk atau Mesir publik yang bisa kami rujuk.

Bagaimana mengontrol panjang ringkasan?

Minta dalam kata, ukur dalam kata. Jangan percaya hitungan model sendiri, dan jangan pakai anggaran token sebagai satuan: jumlah token per kata bahasa Arab berbeda per model. Kami mengukur paragraf berita bahasa Arab 96 kata sebesar 166 token dengan tokenizer resmi Qwen3.8 27B, dan ringkasan 58 katanya sebesar 114 token. Di tokenizer keempat model chat BroadNet, dihitung dengan file tokenizer dari penghitung token bahasa Arab, paragraf yang sama berkisar dari 166 sampai 224 token. Token per kata dalam bahasa Arab memuat pengukuran yang lebih besar.

Memecah berdasarkan spasi adalah hitungan yang tepat untuk sebagian besar kebutuhan, karena itulah yang dilihat pembaca. Bahasa Arab menempelkan و, ب, ل, dan ال ke kata, jadi ringkasan bahasa Arab 50 kata membawa isi lebih dari 50 kata bahasa Inggris. Tetapkan rentang dari contoh bahasa Arab yang Anda sukai, bukan dari target bahasa Inggris.

Dua aturan lagi soal panjang:

  • max_tokens bukan kontrol panjang. Parameter ini memotong balasan di tengah kalimat. Set jauh di atas ukuran ringkasan, terutama pada model penalaran: dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran itu dihitung ke dalam max_tokens. Lihat respons kosong dari model penalaran.
  • Ulangi sekali, dengan angkanya. “Ringkasan Anda 17 kata; saya minta 40 sampai 60” memperbaiki lebih banyak daripada mengulang instruksi.

Bagaimana menangkap detail karangan?

Peringkas abstraktif mengarang. Maynez dkk. (ACL 2020) menemukan “substantial amounts of hallucinated content” (Terjemahan BroadRouter: konten halusinasi dalam jumlah besar) di semua ringkasan model yang ditinjau anotatornya; itu sebelum LLM masa kini, tetapi tidak ada model yang kebal. Anda tidak bisa mengecek makna dengan murah di kode, tetapi Anda bisa mengecek angka: setiap angka di ringkasan harus muncul di sumber. Petakan dulu angka Arab Timur (٠–٩) dan angka Persia (۰–۹) ke 0–9, atau ١٢ dan 12 akan terlihat berbeda.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Kami mengujinya terhadap server tiruan lokal (tanpa panggilan API langsung) dengan artikel sintetis 96 kata tentang rencana bus kota. Balasan pertama server tiruan 17 kata dan menyebut ٣٠٠ bus padahal artikel menyebut ٢٤٠. check mengembalikan kedua masalah: panjang terukur, dan “angka yang tidak ada di teks: 300”. Balasan kedua yang sudah diperbaiki lolos dengan 58 kata, jadi fungsi mengembalikannya dengan attempts: 2.

Cek angka melewatkan beberapa hal: nama yang salah, keputusan yang terbalik, klaim tanpa angka. Ini saringan, bukan vonis. Untuk nama, pakai ulang cek rentang dari ekstraksi entitas bernama bahasa Arab: ekstrak entitas dari ringkasan dan pastikan masing-masing muncul di sumber.

Bagaimana meringkas dokumen bahasa Arab yang panjang?

Jika teks muat di jendela konteks dengan ruang tersisa, kirim utuh. Qwen3.8 27B menerima 262.144 token per permintaan dan GLM 5.3 1.048.576, prompt dan jawaban digabung; Gemma 4 VL 26B menerima 32.768. Namun input panjang punya kelemahan yang dikenal: model kurang andal memakai fakta di tengah konteks panjang (lost in the middle). Untuk laporan panjang, ringkas tiap bagian, lalu ringkas ringkasannya, dan pertahankan judul bagian di prompt akhir. Artikel rapat menunjukkan langkah penggabungan dalam kode; konteks panjang vs RAG membahas kapan sebaiknya memakai retrieval.

Bagaimana mengevaluasi ringkasan bahasa Arab?

Pakai tiga lapis: skor tumpang-tindih otomatis untuk menangkap regresi, skor semantik sebagai pendapat kedua, dan manusia untuk keputusan.

ROUGE, dengan tokenizer yang benar. Paket rouge-score Google (versi 0.1.2, masih rilis terbaru di PyPI per 16 November 2026) mengubah teks ke huruf kecil dan mengganti setiap karakter di luar a–z dan 0–9 dengan spasi. Bahasa Arab lenyap. Kami sudah mengeceknya:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Dua kalimat yang sama mendapat 0, 0,6, atau 0,8 hanya karena tokenisasi. Itulah pelajaran sebenarnya: morfologi bahasa Arab (للنقل dibanding النقل, بإضافة dibanding تضيف) sangat menggeser ROUGE, jadi skor tidak berarti apa-apa tanpa tokenizer-nya. Penulis XL-Sum menerbitkan fork ROUGE multibahasa dengan stemming khusus bahasa, termasuk bahasa Arab; pakai itu, atau tokenizer Anda sendiri, dan pertahankan tetap sama di setiap run yang Anda bandingkan.

BERTScore membandingkan makna lewat embedding, jadi toleran terhadap parafrase. Untuk bahasa selain Inggris dan Mandarin, model bawaannya adalah bert-base-multilingual-cased. Anggap ini sinyal kedua, bukan pengganti membaca.

Manusia, dengan rubrik. Minta pembaca bahasa Arab menilai 50 sampai 100 ringkasan dengan tiga pertanyaan: apakah ada hal penting yang hilang, apakah ada pernyataan yang tidak ada di sumber, dan apakah registernya tepat. LLM sebagai juri bisa menyaring awal dalam volume besar setelah skornya sejalan dengan pembaca Anda pada sebuah sampel. Mengevaluasi LLM sebelum beralih membahas cara membangun set itu.

Untuk data referensi publik:

Dataset Isinya Catatan
XL-Sum bahasa Arab 46.897 pasangan artikel dan ringkasan BBC Arabic (37.519 / 4.689 / 4.689) CC BY-NC-SA 4.0: hanya riset nonkomersial
EASC 153 artikel, masing-masing lima ringkasan ekstraktif buatan manusia Kecil; Wikipedia dan dua surat kabar
LANS 8,4 juta artikel beserta ringkasan dari 22 surat kabar Arab, 1999 sampai 2019 Ringkasan berasal dari metadata situs

Ketiganya berita MSA. Tiket support dan laporan Anda bukan, jadi sampel teks Anda sendiri yang diringkas oleh manusia adalah tes yang benar-benar menentukan.

Model BroadNet mana yang sebaiknya dipakai, dan berapa biayanya?

Untuk pilot, Gemma 4 VL 26B berjalan dengan kredit awal $5 seharga $0.10 input dan $0.22 output per 1 juta token; jendela 32.768 tokennya muat untuk sebagian besar artikel tunggal. Qwen3.8 27B, yang menurut BroadNet sudah diuji untuk penulisan bahasa Arab yang lancar serta pemahaman dialek Teluk dan Mesir, seharga $0.175 input dan $2.17 output setelah top up. Pakai GLM 5.3 jika satu dokumen lebih panjang dari jendela Qwen.

Hitungan untuk 10.000 artikel masing-masing 1.000 token, dengan ringkasan 150 token: 10 juta token input dan 1,5 juta token output, jadi di Qwen3.8 27B biayanya 10 × $0.175 ditambah 1,5 × $2.17. Tambahkan token penalaran, yang ditagih sebagai output, dan percobaan ulang; ukur keduanya pada sampel dari blok usage. Jika prompt sama untuk setiap artikel, taruh di awal agar bisa ditagih dengan tarif input cache.

Posisi BroadNet Inference

BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference melayani langkah ringkasan lewat API yang kompatibel dengan OpenAI, jadi kode di atas berjalan dengan OpenAI Python SDK. Dokumentasinya menyebutkan prompt dan jawaban tidak disimpan setelah permintaan. BroadNet tidak menerbitkan benchmark ringkasan bahasa Arab sendiri, dan tidak ada apa pun di sini yang mengukur kualitas ringkasan pada model-modelnya; jalankan cek di atas pada teks Anda sendiri. Untuk input lisan, padukan dengan BroadNet Transcribe Arabic seperti di artikel notulen rapat.

Pertanyaan umum

Apakah LLM bisa meringkas teks bahasa Arab dengan baik?

Bisa, tetapi lancar tidak sama dengan akurat. Cek panjang dan angka di kode, dan minta pembaca bahasa Arab menilai sampel untuk poin yang hilang dan detail karangan sebelum Anda mengandalkannya.

Apakah ringkasan teks dialek sebaiknya ditulis dalam dialek atau MSA?

Biasanya MSA, karena terbaca netral dan mudah dicari di semua wilayah. Pertahankan kutipan pendek dalam dialek aslinya ketika susunan katanya penting, misalnya keluhan. Sebutkan pilihan Anda di prompt; tanpa itu, model cenderung berpindah-pindah di antara keduanya.

Kenapa ROUGE memberi skor 0 untuk ringkasan bahasa Arab saya?

Paket Python rouge-score yang banyak dipakai secara bawaan mengganti karakter di luar a-z dan 0-9 dengan spasi, sehingga teks bahasa Arab tidak menghasilkan token sama sekali. Berikan tokenizer Anda sendiri, atau pakai fork ROUGE multibahasa dari penulis XL-Sum.

Bagaimana cara mengontrol panjang ringkasan bahasa Arab?

Minta rentang jumlah kata, bukan jumlah token, dan ukur balasan dengan memecahnya berdasarkan spasi. Jika meleset, kirim ulang sekali dengan panjang terukur. Ingat bahwa kata bahasa Arab sering membawa prefiks yang menempel, jadi ringkasan bahasa Arab 50 kata memuat makna lebih dari 50 kata bahasa Inggris.

Dataset apa yang bisa saya pakai untuk menguji ringkasan bahasa Arab?

XL-Sum punya 46.897 pasangan artikel dan ringkasan BBC Arabic (lisensi nonkomersial). EASC punya 153 artikel, masing-masing dengan lima ringkasan ekstraktif buatan manusia. Keduanya berita MSA, jadi tambahkan sampel teks Anda sendiri, terutama yang berdialek.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity