لكي ينجح التوليد المعزّز بالاسترجاع (RAG) على العربية، طبّع المستندات والاستعلامات بقواعد الإملاء نفسها، وقطّع النص حسب الفقرات، وابحث بمحلل كلمات مفتاحية للعربية وبنموذج تضمين متعدد اللغات معًا، واجعل نموذج LLM يجيب من المقاطع المسترجعة وحدها مع ذكر مصادرها.
النمط، كما في ورقة RAG الأصلية، هو: استرجع ثم ولّد. ومعظم إخفاقات RAG بالعربية تحدث في النصف الأول. يكتب المستخدم «الفاتوره» والفهرس يحوي «الفاتورة»؛ وتقول السياسة «إلغاء» ويكتب المستخدم «الغاء»؛ ونموذج التضمين دُرّب في معظمه على الإنجليزية. أصلح الاسترجاع، وغالبًا ما يستقيم جزء الـ LLM من تلقاء نفسه.
كيف يبدو مسار RAG للعربية؟
- استخرج النص من ملفات PDF وصفحات الويب ومقالات مركز المساعدة. وللملفات العربية الممسوحة ضوئيًا، راجع OCR العربي مقابل نماذج LLM البصرية.
- طبّع نسخة من النص للفهرسة.
- قطّع النص حسب بنيته: العناوين والفقرات.
- افهرس مرتين: فهرس للكلمات المفتاحية وفهرس للمتجهات.
- استرجع من الفهرسين بالاستعلام المطبّع، ثم ادمج النتائج وأعد ترتيبها.
- ولّد إجابة من أفضل المقاطع مع الاستشهاد بها.
كيف تطبّع النص العربي للبحث؟
تسمح العربية بأكثر من طريقة لكتابة الكلمة نفسها، ونادرًا ما يكتب المستخدمون التشكيل أو الهمزة باتساق. طبّع النسخة المفهرسة وكل استعلام بالدالة نفسها:
| القاعدة | الحروف | السبب |
|---|---|---|
| توحيد الألف | أ إ آ ٱ → ا | كثيرًا ما تُحذف الهمزة عند الكتابة |
| الألف المقصورة | ى → ي | شائعة في الكتابة المصرية والإملاء المتساهل |
| التاء المربوطة | ة → ه | يكتب المستخدمون ه في آخر الكلمة |
| حذف التشكيل | U+064B إلى U+0652، وU+0670 | معظم النصوص والاستعلامات غير مشكولة |
| حذف التطويل | ـ (U+0640) | مدّ زخرفي |
| الأرقام | ٠–٩ → 0–9 | لمطابقة الأرقام بأي من الشكلين |
جرّب كل خيار على نصك أنت باستخدام أداة تطبيع النص العربي، التي تكتب لك أيضًا دالة Python مطابقة.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
تجد نقاط الترميز في جدول Unicode للحروف العربية. وهناك تحذيران:
- لا تعرض النص المطبّع أبدًا. خزّن الأصل إلى جانبه، واعرض الأصل واستشهد به وأرسله إلى الـ LLM. فالعربية المطبّعة تبدو للقارئ مليئة بالأخطاء الإملائية.
- بعض حالات الدمج تُفقد المعنى. تحويل ة → ه يدمج بضعة أزواج من الكلمات، وتحويل ى → ي يدمج «على» (حرف الجر) مع «علي» (الاسم). من أجل الاستدعاء في البحث، تستحق هذه المقايضة عادةً؛ لكن اختبرها على استعلاماتك.
القواعد نفسها أساسية في قياس دقة التعرف على الكلام العربي، لذا يمكنك إعادة استخدام دالة واحدة في كل أنظمتك.
كيف تقطّع المستندات العربية؟
- قسّم حسب البنية. العناوين، والمواد المرقّمة في العقود (المادة ١، المادة ٢)، وفواصل الفقرات حدود طبيعية.
- بضع مئات من الكلمات لكل مقطع، مع تداخل بجملة أو جملتين. تحمل الكلمة العربية وحدات صرفية أكثر من الكلمة الإنجليزية، لذا يغطي المقطع معنى أكبر لكل كلمة مما يوحي به طوله.
- حدود الجمل: لا تقسّم عند . ؟ ! والفاصلة العربية ، إلا كحل أخير. كثير من النصوص العربية تستخدم جملًا طويلة موصولة بالواو، لذا فالتقسيم على مستوى الفقرة أكثر أمانًا.
- احمل السياق. ابدأ كل مقطع بعنوان المستند وعنوان القسم بالعربية، حتى يبقى المقطع الذي يقول «تُطبَّق هذه الرسوم» دالًا على أي رسوم يقصد.
تحوّل حاسبة تقطيع RAG حجم المقطع والتداخل وقيمة top-k إلى عدد المقاطع والرموز لكل استعلام والتكلفة الشهرية.
لماذا تجمع البحث بالكلمات المفتاحية مع التضمينات؟
البحث بالكلمات المفتاحية
الصرف العربي يُفشل المطابقة الساذجة للكلمات المفتاحية: كتاب والكتاب وبالكتاب وكتابه وكتب كلها مرتبطة بـ«الكتاب». استخدم محللًا يتعامل مع العربية. يأتي Elasticsearch مع محلل للغة العربية يسلسل كلمات التوقف العربية، وتطبيع الأرقام، والتطبيع العربي، ومجذّعًا عربيًا (stemmer)، فتتطابق الصيغ ذات السوابق مثل الكتاب وكتاب أكثر. تحقق مما يدمجه على مفرداتك أنت قبل أن تعتمد عليه.
التضمينات
نماذج التضمين تحوّل النص إلى متجهات، بحيث تتقارب المقاطع المتشابهة في المعنى حتى إن لم تشترك في أي كلمة. للعربية، اختر نموذجًا متعدد اللغات واختبره:
- فضّل النماذج المدرَّبة على لغات كثيرة، مثل BGE M3، الذي يصفه مؤلفوه بأنه يدعم أكثر من 100 لغة عمل. النماذج المخصصة للإنجليزية وحدها تعطي متجهات عربية ضعيفة.
- اختبر الاسترجاع بين اللغتين إذا كان المستخدمون يسألون بالإنجليزية عن مستندات عربية، أو العكس.
- ضمّن النص الأصلي أو المطبّع، لكن التزم بالخيار نفسه في المستندات والاستعلامات. اختبر الاثنين؛ فالنتائج تختلف من نموذج لآخر.
لا توفّر BroadNet Inference نقطة نهاية للتضمينات: نقاط النهاية الموثّقة لديها هي إكمال المحادثة وتفريغ الصوت. استخدم مزوّد تضمينات تثق به، أو استضف نموذج تضمين مفتوحًا متعدد اللغات مع قاعدة بيانات متجهات، واستخدم BroadNet للتوليد. وتحسب حاسبة تكلفة التضمينات تكلفة الفهرسة والاستعلامات لدى مزوّدين مختلفين.
الدمج وإعادة الترتيب
شغّل البحثين، وادمج النتائج بطريقة دمج الرتب التبادلي (reciprocal rank fusion)، أي احسب درجة كل مستند بمجموع 1 / (k + rank) عبر القوائم، واحتفظ بأفضل 10 إلى 30 مقطعًا. يمكن لنموذج إعادة ترتيب (reranker) أو فحص سريع للصلة عبر LLM أن يقلّص العدد أكثر، لكن مع النماذج طويلة السياق يمكنك غالبًا الاستغناء عن ذلك.
كيف تولّد إجابات مع ذكر المصادر؟
أعطِ النموذج المقاطع مع معرّفاتها، واطلب منه الإجابة منها وحدها:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
يطلب الأمر النظامي العربي في الشيفرة من النموذج أن يجيب بالفصحى المبسطة من المقاطع المرفقة وحدها، وأن يذكر رقم المقطع بين قوسين مربعين بعد كل معلومة، وأن يصرّح بوضوح إن لم يجد الإجابة. والتعليمات بالإنجليزية تعمل بالقدر نفسه؛ المهم هو قاعدة الإجابة من المقاطع وحدها والاستشهاد بها.
ضع المقاطع قبل السؤال. وإذا تكررت المستندات نفسها في طلبات كثيرة، فأبقها بالترتيب نفسه في بداية الأمر (prompt) حتى يُطبَّق سعر الإدخال المخزّن مؤقتًا؛ راجع رموز الإدخال المخزّنة مؤقتًا.
أي نموذج تختار؟
| النموذج | السياق | السبب |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | أقل سعر للإدخال المخزّن مؤقتًا بين هذه النماذج الثلاثة على BroadNet ($0.0055 لكل مليون رمز)، ومساحة لمقاطع كثيرة، وتتوفر له خطط بسعر ثابت |
| GLM 5.3 | 1,048,576 | الأدوات والمخرجات المنظَّمة للاسترجاع عبر الوكلاء (agentic retrieval) |
| Qwen3.8 27B | 262,144 | اختبرته BroadNet بالعربية: كتابة سلسة، وفهم للهجتين الخليجية والمصرية |
مع سياق يبلغ مليون رمز (توكن)، يمكنك الاسترجاع بسخاء، كأن تسترجع 50 مقطعًا بدل 5، وتترك النموذج يختار. يقلل ذلك الضرر حين يضع الاسترجاع المقطع الصحيح في المرتبة 12. ومع مجموعات المستندات الصغيرة، قد لا تحتاج إلى الاسترجاع أصلًا؛ راجع السياق الطويل مقابل RAG وتحقق مما إذا كانت مستنداتك تتسع باستخدام حاسبة نافذة السياق. أسعار جميع النماذج في صفحة الأسعار.
كيف تقيّم RAG بالعربية؟
- اكتب من 50 إلى 100 سؤال حقيقي، بالمزيج الذي يكتبه مستخدموك فعلًا من الفصحى واللهجات والإنجليزية.
- حدّد المقطع الذي يجيب عن كل سؤال.
- قِس الاسترجاع أولًا: هل المقطع الصحيح ضمن أفضل 10؟ قارن الكلمات المفتاحية وحدها، والتضمينات وحدها، والبحث الهجين، مع التطبيع وبدونه.
- ثم قِس الإجابات: صحيحة، ومستشهد بمصادرها، و«غير موجودة» حين تغيب الإجابة.
- أدرج عمدًا استعلامات فيها أخطاء إملائية ولهجات. فالمستخدمون يكتبون «وين الفاتوره» (بالخليجية أو الشامية)، لا «أين الفاتورة».
أصلح الاسترجاع قبل أن تغيّر نموذج التوليد: إذا لم يصل المقطع الصحيح إلى الأمر أبدًا، فلن يستطيع أي نموذج الاستشهاد به.

