BroadRouter

LLM ile Arapça metin özetleme: istem, uzunluk ve puanlama

BroadNet Inference ekibi · 7 dk okuma · Yayımlandı · Güncellendi

İstemde dil düzeyini (lehçe girdide bile genellikle Modern Standart Arapça) ve bir kelime aralığını belirtin. Sonra kodda denetleyin: kelimeleri sayın, özetteki her sayının kaynakta geçtiğini doğrulayın ve sorunu yazarak bir kez yeniden deneyin. Arapçaya uygun bir ROUGE tokenizer'ı ve insan incelemesiyle puanlayın; varsayılan rouge-score Arapçaya 0 verir.

Arapça bir metni LLM ile özetlemek tek bir istek alır. Yayına alabileceğiniz özetler elde etmek ise isteğin sizin yerinize vermediği üç karar gerektirir: hangi dil düzeyinde yazılacak, özet ne uzunlukta olacak ve doğru olduğunu nasıl anlayacaksınız. Bu yazı yazılı metni ele alıyor: makaleler, raporlar, destek talepleri ve uzun mesaj zincirleri. Sesli toplantılar için Arapça toplantı tutanağı hattı transkripsiyon adımını ve bölüm bölüm birleştirmeyi ekliyor.

Arapça özetleme istemi neler söylemeli?

Sonucun büyük kısmını beş satır belirler:

  1. Dil ve dil düzeyi. “Modern Standart Arapça” (الفصحى) ya da adı verilmiş bir lehçe. Bu olmadan Mısır ya da Körfez girdisini özetleyen bir model karışık bir dille yanıt verebilir.
  2. Bir kelime aralığı. “40 ila 60 kelime”. Aralıkları tutturmak, kesin sayılardan daha kolaydır.
  3. Olgular yazıldığı gibi. Sayılar, tarihler ve adlar metinden kopyalanır; yuvarlanmaz, dönüştürülmez.
  4. Yeni bir şey yok. Metinde bulunmayan arka plan bilgisi eklenmez.
  5. Biçim. Tek paragraf, üç madde ya da sabit alanlı JSON.

Talimatlar Arapça ya da İngilizce olabilir; her iki durumda da çıktı dilini ve dil düzeyini açıkça belirtin. Arapça istem mühendisliği dil düzeyini, rakamları ve karışık yazılı metni daha ayrıntılı ele alıyor. Aşağıdaki kodda kullanılan istem şu:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Lehçe metni nasıl özetlersiniz?

Arapça iş metinlerinin çoğu MSA değildir: müşteri yorumları, WhatsApp yazışmaları ve sosyal medya gönderileri lehçeyle yazılır, çoğu zaman İngilizce ya da Arabizi ile karışır. Üç tercih işe yarar:

  • Varsayılan olarak MSA’ya özetleyin. Bölgeler arasında nötrdür ve aranması daha kolaydır. Özet aynı müşteriye geri gidecekse onun lehçesine uyun.
  • Önemli alıntıları aynen koruyun. Bir şikâyet gibi tonun önemli olduğu yerlerde özgün ifadeyle kısa bir alıntı isteyin. Lehçeyi MSA’ya aktarmak ifadeyi yumuşatabilir.
  • Kendi lehçelerinizde test edin. Lehçe anlama modelden modele değişir; bkz. LLM’lerin Körfez ve Mısır Arapçasıyla başa çıkması.

Bu testi herkese açık veri sizin yerinize yapmaz. Büyük Arapça özetleme setleri MSA haberleridir ve size gösterebileceğimiz herkese açık bir Körfez ya da Mısır özetleme benchmark’ı bulamadık.

Özet uzunluğunu nasıl kontrol edersiniz?

Kelimeyle isteyin, kelimeyle ölçün. Modelin kendi sayımına güvenmeyin, birim olarak da token bütçesi kullanmayın: Arapça kelime başına token sayısı modele göre değişir. 96 kelimelik bir Arapça haber paragrafını resmî Qwen3.8 27B tokenizer’ı ile 166 token, 58 kelimelik özetini 114 token olarak ölçtük. BroadNet’in dört sohbet modelinin tokenizer’larında, Arapça token sayacının tokenizer dosyalarıyla sayıldığında, aynı paragraf 166 ile 224 token arasında değişti. Daha büyük ölçüm Arapçada kelime başına token yazısında.

Çoğu kullanım için doğru sayım boşluklardan bölmektir, çünkü okuyucunun gördüğü budur. Arapça و, ب, ل ve ال eklerini kelimeye bitiştirir; bu yüzden 50 kelimelik Arapça bir özet, 50 İngilizce kelimeden fazla içerik taşır. Aralığınızı İngilizce bir hedeften değil, beğendiğiniz Arapça örneklerden belirleyin.

Uzunlukla ilgili iki kural daha:

  • max_tokens bir uzunluk kontrolü değildir. Yanıtı cümlenin ortasında keser. Özet boyutunun çok üstünde ayarlayın, özellikle akıl yürüten modellerde: BroadNet’in belgelerine göre DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve bu akıl yürütme max_tokens sınırına sayılır. Bkz. akıl yürüten modellerden boş yanıtlar.
  • Sayıyla birlikte bir kez yeniden deneyin. “Özetiniz 17 kelime; ben 40 ila 60 istedim” demek, talimatı tekrarlamaktan daha çok şey düzeltir.

Uydurma ayrıntıları nasıl yakalarsınız?

Soyutlayıcı özetleyiciler bir şeyler uydurur. Maynez vd. (ACL 2020), anotatörlerinin incelediği tüm model özetlerinde “substantial amounts of hallucinated content” (BroadRouter çevirisi: önemli miktarda halüsinasyon içerik) buldu; bu bugünkü LLM’lerden önceydi, ama hiçbir model bundan bağışık değil. Anlamı kodda ucuza denetleyemezsiniz, ama sayıları denetleyebilirsiniz: özetteki her sayı kaynakta da geçmeli. Önce Doğu Arap rakamlarını (٠–٩) ve Fars rakamlarını (۰–۹) 0–9’a eşleyin, yoksa ١٢ ile 12 farklı görünür.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Bunu yerel bir sahte sunucuya karşı test ettik (canlı API çağrısı yok); bir şehir otobüsü planı hakkında sentetik, 96 kelimelik bir makale kullandık. Sahte sunucunun ilk yanıtı 17 kelimeydi ve makalede ٢٤٠ yazarken ٣٠٠ otobüs diyordu. check iki sorunu da döndürdü: ölçülen uzunluğu ve “metinde olmayan sayılar: 300”. İkinci, düzeltilmiş yanıt 58 kelimeyle geçti, dolayısıyla fonksiyon onu attempts: 2 ile döndürdü.

Sayı denetimi bazı şeyleri kaçırır: yanlış bir ad, tersine çevrilmiş bir karar, içinde sayı olmayan bir iddia. Bu bir süzgeçtir, hüküm değil. Adlar için Arapça adlandırılmış varlık çıkarımı yazısındaki aralık denetimini yeniden kullanın: özetten varlıkları çıkarın ve her birinin kaynakta geçtiğini doğrulayın.

Uzun Arapça belgeleri nasıl özetlersiniz?

Metin bağlam penceresine rahatça sığıyorsa tamamını gönderin. Qwen3.8 27B istek başına 262.144 token, GLM 5.3 ise 1.048.576 token alır (istem ve yanıt birlikte); Gemma 4 VL 26B 32.768 token alır. Yine de uzun girdilerin bilinen bir zayıflığı var: modeller uzun bir bağlamın ortasındaki olguları daha az güvenilir biçimde kullanır (lost in the middle). Uzun bir rapor için her bölümü özetleyin, sonra özetleri özetleyin ve son istemde bölüm başlıklarını koruyun. Toplantı yazısı birleştirme adımını kodla gösteriyor; uzun bağlam mı RAG mı ne zaman bunun yerine arama yapılacağını ele alıyor.

Arapça özetleri nasıl değerlendirirsiniz?

Üç katman kullanın: gerilemeleri yakalamak için otomatik bir örtüşme puanı, ikinci görüş için anlamsal bir puan ve karar için insanlar.

ROUGE, doğru tokenizer ile. Google’ın rouge-score paketi (16 Kasım 2026 itibarıyla PyPI’daki güncel sürüm hâlâ 0.1.2) metni küçük harfe çevirir ve a–z ile 0–9 dışındaki her karakteri boşlukla değiştirir. Arapça yok olur. Denedik:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Aynı iki cümle yalnızca tokenizasyona bağlı olarak 0, 0,6 ya da 0,8 alıyor. Asıl ders bu: Arapça biçimbilimi (للنقل ile النقل, بإضافة ile تضيف) ROUGE’u çok oynatır, bu yüzden tokenizer’ı belirtilmeyen bir puan hiçbir şey ifade etmez. XL-Sum yazarları, Arapça dahil dile özgü kök bulma içeren çok dilli bir ROUGE çatalı yayımlıyor; onu ya da kendi tokenizer’ınızı kullanın ve karşılaştırdığınız her çalıştırmada sabit tutun.

BERTScore anlamı embedding’ler üzerinden karşılaştırır, bu yüzden başka sözcüklerle ifade etmeyi tolere eder. İngilizce ve Çince dışındaki diller için varsayılan modeli bert-base-multilingual-cased’dir. Bunu okumanın yerine geçen bir şey olarak değil, ikinci bir sinyal olarak görün.

İnsanlar, bir değerlendirme ölçütüyle. Arapça bilen birine 50 ila 100 özeti üç soruya göre puanlatın: önemli bir şey eksik mi, kaynağın söylemediği bir şey söylenmiş mi ve dil düzeyi doğru mu. Bir LLM hakem, puanları bir örneklemde okuyucularınızınkiyle uyuştuğunda büyük hacimde ön eleme yapabilir. Geçiş öncesi bir LLM’i değerlendirmek bu seti oluşturmayı anlatıyor.

Herkese açık referans verisi için:

Veri seti İçeriği Notlar
XL-Sum Arapça 46.897 BBC Arapça makale-özet çifti (37.519 / 4.689 / 4.689) CC BY-NC-SA 4.0: yalnızca ticari olmayan araştırma
EASC 153 makale, her biri için beş insan çıkarımsal özeti Küçük; Vikipedi ve iki gazete
LANS 22 Arap gazetesinden, 1999–2019 arası, özetleriyle 8,4 milyon makale Özetler site meta verisinden geliyor

Üçü de MSA haberleri. Sizin destek talepleriniz ve raporlarınız öyle değil; bu yüzden kendi metinlerinizden bir örneklemin bir insan tarafından özetlenmesi, asıl önemli testtir.

Hangi BroadNet modelini kullanmalısınız ve maliyeti ne?

Bir pilot için Gemma 4 VL 26B, $5 başlangıç kredisiyle çalışır; 1M token başına girdi $0.10, çıktı $0.22. 32.768 token’lık penceresi çoğu tekil makaleye yeter. BroadNet’in akıcı Arapça yazım ile Körfez ve Mısır lehçesi anlama açısından test ettiğini bildirdiği Qwen3.8 27B, bakiye yüklemesinden sonra girdi için $0.175, çıktı için $2.17 tutar. Tek bir belge Qwen’in penceresinden uzunsa GLM 5.3 kullanın.

Her biri 1.000 token olan 10.000 makale ve 150 token’lık özetler için hesap: 10 milyon girdi token’ı ve 1,5 milyon çıktı token’ı; Qwen3.8 27B üzerinde bu 10 × $0.175 artı 1,5 × $2.17 eder. Çıktı olarak faturalanan akıl yürütme token’larını ve yeniden denemeleri ekleyin; ikisini de bir örneklemde usage bloğundan ölçün. İstem her makale için aynıysa, önbellekli girdi fiyatından faturalanabilmesi için onu başa koyun.

BroadNet Inference nereye oturuyor?

BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference özetleme adımını OpenAI uyumlu bir API ile sunar; bu yüzden yukarıdaki kod OpenAI Python SDK ile çalışır. Belgelerine göre istemler ve yanıtlar istekten sonra saklanmaz. Kendine ait bir Arapça özetleme benchmark’ı yayımlamıyor ve buradaki hiçbir şey kendi modellerinde özet kalitesini ölçmüyor; yukarıdaki denetimleri kendi metinlerinizde çalıştırın. Sesli girdi için, toplantı tutanağı yazısındaki gibi BroadNet Transcribe Arabic ile eşleştirin.

Sık sorulan sorular

Bir LLM Arapça metni iyi özetleyebilir mi?

Evet, ama akıcı olmak doğru olmak demek değil. Uzunlukları ve sayıları kodda denetleyin, güvenmeden önce Arapça bilen birine bir örneklemi eksik noktalar ve uydurma ayrıntılar açısından puanlatın.

Lehçe metnin özeti lehçeyle mi yoksa MSA ile mi yazılmalı?

Genellikle MSA ile, çünkü bölgeler arasında nötr okunur ve aranabilir. Bir şikâyet gibi ifadenin önemli olduğu yerlerde kısa alıntıları özgün lehçede bırakın. Hangisini istediğinizi istemde söyleyin; yoksa modeller ikisi arasında gidip gelir.

ROUGE Arapça özetlerime neden 0 veriyor?

Yaygın kullanılan rouge-score Python paketi varsayılan olarak a-z ve 0-9 dışındaki karakterleri boşlukla değiştirir, bu yüzden Arapça metinden hiç token çıkmaz. Kendi tokenizer'ınızı verin ya da XL-Sum yazarlarının çok dilli ROUGE çatalını kullanın.

Arapça özetin uzunluğunu nasıl kontrol ederim?

Token sayısı değil, kelime aralığı isteyin ve yanıtı boşluklardan bölerek ölçün. Tutmazsa ölçülen uzunlukla bir kez yeniden gönderin. Arapça kelimelerin çoğu zaman bitişik önekler taşıdığını unutmayın: 50 kelimelik Arapça bir özet, 50 İngilizce kelimeden fazla anlam taşır.

Arapça özetlemeyi test etmek için hangi veri setini kullanabilirim?

XL-Sum'da 46.897 BBC Arapça makale-özet çifti var (ticari olmayan lisans). EASC'de her biri beş insan çıkarımsal özetine sahip 153 makale bulunuyor. İkisi de MSA haberleri; bu yüzden kendi metinlerinizden, özellikle lehçe olanlardan bir örneklem ekleyin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor