Erişimle zenginleştirilmiş üretimi (RAG) Arapçada çalıştırmak için belgeleri ve sorguları aynı yazım kurallarıyla normalleştirin, paragraf bazında parçalayın, hem Arapça bir anahtar kelime analizörüyle hem de çok dilli bir embedding modeliyle arayın ve LLM’in yalnızca bulunan pasajlardan, kaynak göstererek yanıt vermesini sağlayın.
Orijinal RAG makalesindeki desen önce erişim, sonra üretimdir. Arapça RAG hatalarının çoğu ilk yarıda olur. Kullanıcı “الفاتوره” yazar, dizinde ise “الفاتورة” vardır; bir politika metni “إلغاء” der, kullanıcı “الغاء” yazar; embedding modeli de çoğunlukla İngilizceyle eğitilmiştir. Erişimi düzeltin, LLM kısmı çoğu zaman kendiliğinden yoluna girer.
Bir Arapça RAG hattı nasıl görünür?
- PDF’lerden, web sayfalarından ve yardım merkezi makalelerinden metni çıkarın. Taranmış Arapça PDF’ler için Arapça OCR ve görsel LLM’ler yazısına bakın.
- Dizinleme için metnin bir kopyasını normalleştirin.
- Yapıya göre parçalayın: başlıklar ve paragraflar.
- İki kez dizinleyin: bir anahtar kelime dizini ve bir vektör dizini.
- Normalleştirilmiş sorguyla ikisinden de getirin, birleştirin ve yeniden sıralayın.
- En üstteki pasajlardan, onları kaynak göstererek bir yanıt üretin.
Arama için Arapça metin nasıl normalleştirilir?
Arapça aynı kelimenin birkaç yazımına izin verir ve kullanıcılar harekeyi ya da hemzeyi nadiren tutarlı yazar. Dizinlenen kopyayı ve her sorguyu aynı fonksiyonla normalleştirin:
| Kural | Karakterler | Neden |
|---|---|---|
| Elifi birleştir | أ إ آ ٱ → ا | Yazarken hemze çoğu zaman atlanır |
| Elif maksura | ى → ي | Mısır yazımında ve gevşek imlada yaygın |
| Ta marbuta | ة → ه | Kullanıcılar kelime sonunda ه yazar |
| Harekeleri sil | U+064B ile U+0652 arası, U+0670 | Metinlerin ve sorguların çoğu harekesizdir |
| Tatvili kaldır | ـ (U+0640) | Süsleme amaçlı uzatma |
| Rakamlar | ٠–٩ → 0–9 | Sayıları iki biçimde de eşleştirmek için |
Her seçeneği Arapça metin normalleştirici ile kendi metninizde deneyin; araç buna uyan bir Python fonksiyonu da yazar.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Kod noktaları Unicode Arapça tablosunda. İki uyarı:
- Normalleştirilmiş metni asla göstermeyin. Orijinali yanında saklayın; gösterirken, kaynak gösterirken ve LLM’e gönderirken orijinali kullanın. Normalleştirilmiş Arapça okuyuculara yanlış yazılmış gibi görünür.
- Bazı birleştirmeler anlam kaybettirir. ة → ه birkaç kelime çiftini birleştirir, ى → ي ise “على” (üzerinde) ile “علي” (Ali) adını aynı yapar. Arama geri çağırması için bu takas genellikle değer; kendi sorgularınızda test edin.
Aynı kurallar Arapça konuşma tanıma doğruluğunu ölçmenin de merkezinde; yani tek bir fonksiyonu tüm sisteminizde yeniden kullanabilirsiniz.
Arapça belgeler nasıl parçalanır?
- Yapıya göre bölün. Başlıklar, sözleşmelerdeki numaralı maddeler (المادة ١، المادة ٢) ve paragraf sonları doğal sınırlardır.
- Parça başına birkaç yüz kelime, bir iki cümlelik örtüşmeyle. Arapça kelimeler İngilizce kelimelerden daha çok biçimbirim taşır; bu yüzden bir parça, uzunluğunun düşündürdüğünden daha fazla anlam kapsar.
- Cümle sınırları: . ؟ ! ve Arapça virgül ، ile yalnızca son çare olarak bölün. Pek çok Arapça metin و ile bağlanan uzun cümleler kullanır; paragraf düzeyinde bölmek daha güvenlidir.
- Bağlamı taşıyın. Her parçanın başına belge başlığını ve bölüm başlığını Arapça olarak ekleyin; böylece “تُطبَّق هذه الرسوم” (bu ücretler uygulanır) diyen bir parça hangi ücretlerden söz ettiğini de söyler.
RAG parçalama hesaplayıcısı parça boyutunu, örtüşmeyi ve top-k değerini parça sayısına, sorgu başına token’a ve aylık maliyete çevirir.
Anahtar kelime araması ile embedding neden birleştirilmeli?
Anahtar kelime araması
Arapça biçimbilimi saf anahtar kelime eşleştirmeyi boşa çıkarır: كتاب, الكتاب, بالكتاب, وكتابه ve كتب hepsi “kitap” ile ilgilidir. Arapçayı işleyebilen bir analizör kullanın. Elasticsearch, Arapça durdurma kelimelerini, rakam normalleştirmeyi, Arapça normalleştirmeyi ve bir Arapça gövdeleyiciyi zincirleyen bir Arapça dil analizörüyle geliyor; böylece الكتاب ve وكتاب gibi ön ekli biçimler daha sık eşleşir. Ona güvenmeden önce kendi kelime dağarcığınızda neleri birleştirdiğini kontrol edin.
Embedding
Embedding modelleri metni vektörlere eşler; böylece anlamı benzer pasajlar, ortak kelime içermeseler bile birbirine yakın durur. Arapça için çok dilli bir model seçin ve test edin:
- Birçok dille eğitilmiş modelleri tercih edin. Örneğin yazarlarının 100’den fazla çalışma dilini desteklediğini söylediği BGE M3. Yalnızca İngilizce modeller zayıf Arapça vektörler üretir.
- Diller arası erişimi test edin; kullanıcılar Arapça belgeler hakkında İngilizce soruyorsa ya da tersi.
- Orijinal ya da normalleştirilmiş metni embedding’e çevirin, ama tutarlı olun; belgelerde ve sorgularda aynısını yapın. İkisini de test edin; sonuçlar modele göre değişir.
BroadNet Inference bir embedding uç noktası sunmuyor: belgelenen uç noktaları sohbet tamamlama ve ses transkripsiyonu. Güvendiğiniz bir embedding sağlayıcısını kullanın ya da açık bir çok dilli embedding modelini bir vektör veritabanıyla kendiniz barındırın; üretim için BroadNet’i kullanın. Embedding maliyet hesaplayıcısı dizinleme ve sorgu maliyetini sağlayıcılar arasında fiyatlandırır.
Birleştirme ve yeniden sıralama
İki aramayı da çalıştırın, sonuçları karşılıklı sıra füzyonuyla (reciprocal rank fusion: her belgeyi listeler boyunca 1 / (k + sıra) toplamıyla puanlayın) birleştirin ve en iyi 10 ila 30 pasajı tutun. Bir yeniden sıralayıcı ya da hızlı bir LLM ilgililik kontrolü bunu daha da daraltabilir; ama uzun bağlamlı modellerle bu adımı çoğu zaman atlayabilirsiniz.
Kaynak gösteren yanıtlar nasıl üretilir?
Modele pasajları kimlikleriyle verin ve yalnızca onlardan yanıt vermesini isteyin:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
Arapça sistem istemi şunu söylüyor: “Kullanıcının sorusunu, yalnızca ekteki pasajlara dayanarak sade Modern Standart Arapçayla yanıtla. Her bilgiden sonra pasaj numarasını köşeli parantez içinde belirt. Yanıtı pasajlarda bulamazsan bunu açıkça söyle.” İngilizce talimatlar da aynı derecede işe yarar; önemli olan yalnızca pasajlardan yanıt verme ve kaynak gösterme kuralıdır.
Pasajları sorudan önce koyun. Aynı belgeler birçok istekte geçiyorsa, önbellekli girdi fiyatı uygulansın diye onları istemin başında aynı sırayla tutun; bkz. önbellekli girdi token’ları.
Hangi model?
| Model | Bağlam | Neden |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | BroadNet’te bu üçü arasında en düşük önbellekli girdi fiyatı (1M token başına $0.0055), birçok pasaja yer, sabit fiyatlı planlar mevcut |
| GLM 5.3 | 1.048.576 | Ajan tabanlı erişim için araçlar ve yapılandırılmış çıktı |
| Qwen3.8 27B | 262.144 | BroadNet Arapçada test etti: akıcı yazım, Körfez ve Mısır lehçelerini anlıyor |
Bir milyon token’lık bağlamla cömertçe getirebilirsiniz; örneğin 5 yerine 50 pasaj verip seçimi modele bırakın. Bu, erişim doğru pasajı 12. sıraya koyduğunda oluşan zararı azaltır. Küçük belge setlerinde erişime hiç gerek kalmayabilir; bkz. uzun bağlam ve RAG. Derleminizin sığıp sığmadığını bağlam penceresi hesaplayıcısıyla kontrol edin. Tüm modellerin fiyatları fiyatlar sayfasında.
Arapça RAG nasıl değerlendirilir?
- Kullanıcılarınızın gerçekte yazdığı MSA, lehçe ve İngilizce karışımıyla 50 ila 100 gerçek soru yazın.
- Her birini yanıtlayan pasajı işaretleyin.
- Önce erişimi ölçün: doğru pasaj ilk 10’da mı? Yalnızca anahtar kelimeyi, yalnızca embedding’i ve hibriti, normalleştirmeli ve normalleştirmesiz olarak karşılaştırın.
- Sonra yanıtları ölçün: doğru mu, kaynak gösterilmiş mi, yanıt yoksa “bulunamadı” deniyor mu?
- Bilerek yanlış yazılmış ve lehçeli sorgular ekleyin. Kullanıcılar “أين الفاتورة” değil, “وين الفاتوره” (Körfez/Levant: fatura nerede) yazar.
Üretim modelini değiştirmeden önce erişimi düzeltin: doğru pasaj isteme hiç ulaşmıyorsa hiçbir model onu kaynak gösteremez.

