BroadRouter
ابدأ الآن

توحيد النص العربي للبحث وRAG: ما الذي تغيّره وما الذي تتركه

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر · آخر تحديث

لفهارس البحث وRAG، وحّد النسخة المخزّنة وكل استعلام بالطريقة نفسها: صيغة Unicode NFKC، وحذف التشكيل والتطويل، وتوحيد صور الألف، وتحويل ى إلى ي وة إلى ه، وتحويل الأرقام. واحتفظ بالنص الأصلي للعرض ولنموذج LLM. وعامل كراسي الهمزة والتاء المربوطة كإعدادات قابلة للضبط: فهي ترفع الاستدعاء لكنها تدمج بعض الكلمات المختلفة.

تسمح العربية بكتابة الكلمة نفسها بطرق عدة. يكتب المستخدم احمد، ويقول المستند أَحْمَد. وفهرس البحث الذي يقارن الحروف حرفيًا تفوته هذه المطابقة، وكذلك نصف البحث بالكلمات المفتاحية في خط RAG. ويحل التوحيد (التطبيع) ذلك بتحويل الصيغ المختلفة إلى صيغة واحدة قبل المقارنة. لكنه إن نُفّذ بلا عناية دمج أيضًا كلمات تعني أشياء مختلفة. يمر هذا المقال على القواعد واحدة واحدة: ماذا تفعل كل قاعدة، ومتى تطبّقها، وماذا تُفسد، وكيف تختلف المكتبات الرئيسية. وينتهي بشيفرة Python مُختبرة.

ولخط RAG العربي الكامل (التقطيع، والبحث الهجين، والإجابات مع المصادر)، انظر RAG بالعربية يعمل فعلًا. أما هذا المقال فيتعمق في خطوة التوحيد.

هل يفيد التوحيد الاسترجاع فعلًا؟

نعم، في البحث بالكلمات المفتاحية، والدليل قديم لكنه واضح. اختبر Larkey وBallesteros وConnell (SIGIR 2002) الاسترجاع العربي على مجموعة أخبار TREC-2001. وقبل التجذيع، وحّدوا المدوّنة والاستعلامات: حذفوا التشكيل وعلامات الترقيم، ووحّدوا صور الألف، وحوّلوا ى وة في آخر الكلمة. وكانت نتائجهم أحادية اللغة، باستعلامات غير موسَّعة:

المعالجة متوسط الدقة التغير مقارنة بالخام (محسوبًا من الأرقام المقرّبة)
نص خام .194 —
موحَّد .238 +22.7%
موحَّد + تجذيع خفيف (light8) .376 +93.8%

تحذيران. هذا استرجاع بالكلمات المفتاحية على الأخبار من 2002، لا بحث بالتضمينات. وأكبر مكسب جاء من التجذيع الخفيف (حذف السوابق مثل و وال واللواحق الشائعة)، وهو خطوة منفصلة عن التوحيد. ويطبّق ArabicAnalyzer في Lucene والمحلل arabic في Elasticsearch الاثنين: أداة توحيد، ثم مُجذِّعًا خفيفًا.

ما الذي يجب توحيده، وما ثمن كل قاعدة؟

القاعدة مثال فهرس البحث المخاطرة
Unicode NFKC ﻻ ← لا، ا + ٔ ← أ نعم، دائمًا أولًا تعيد كتابة حروف التوافق في الأبجديات الأخرى أيضًا
حذف العلامات غير المرئية محارف الوصل الصفرية العرض، وRLM/LRM، وBOM نعم لا شيء للعربية؛ لكن ZWNJ مهم في الفارسية
حذف التشكيل أَحْمَدُ ← أحمد نعم يدمج كلمات لا يميّز بينها إلا الحركات
حذف التطويل (ـ) الـــمدينة ← المدينة نعم لا شيء
توحيد الألف أ إ آ ٱ ← ا نعم يدمج بضعة أزواج: سأل وسال
الألف المقصورة ى ← ي عادةً يدمج على (حرف الجر) وعلي (الاسم)
التاء المربوطة ة ← ه عادةً يدمج كتابة وكتابه (كتابُه)
كراسي الهمزة ؤ ئ ← ء اختياري يدمج مسؤول ومسئول (جيد) لكنه يدمج كلمات مختلفة أيضًا
الحروف الفارسية ی ← ي، ک ← ك نعم، إن كان لدى المستخدمين لوحات مفاتيح فارسية لا شيء للنص العربي
الأرقام ٢٠٢٦ و۲۰۲۶ ← 2026 نعم لا شيء؛ واحتفظ بالأصل للعرض

العمود الأول خاص بمفتاح الفهرس والاستعلام. أما النص الذي تخزّنه وتعرضه وتمرّره إلى النموذج فيبقى كما كُتب.

لماذا يأتي توحيد Unicode أولًا؟

قد يُخزَّن الحرف المرئي نفسه بطرق مختلفة. فقد تكون أ نقطة رمز واحدة (U+0623)، أو ألفًا مجردة تليها همزة مركّبة (U+0627 U+0654). وتُنتج ملفات PDF القديمة وبعض لوحات المفاتيح أشكال العرض العربية (U+FB50 إلى U+FEFF)، مثل اللام ألف ﻻ في حرف واحد. وفي توحيد Unicode، تركّب NFC الهمزة على الألف، وتفكّ NFKC أيضًا أشكال العرض والحروف المركّبة. ففي Python، تعيد unicodedata.normalize("NFKC", "ﻻ") لا، ويصبح ﷲ الله.

شغّل هذا قبل أي شيء آخر. وإلا فاتت التعبيرَ النمطي الذي يستبدل أ الصيغةُ المفكّكة. وهناك فخ ثانٍ: تحذف dediac_ar في CAMeL Tools الحروف الموجودة في AR_DIAC_CHARSET (U+064B إلى U+0652 وU+0670). وهذه المجموعة لا تضم علامات الهمزة والمدّ المركّبة (U+0653 إلى U+0655)، فتبقى هذه في النص المفكّك بعد حذف التشكيل. أما NFKC فتركّبها أولًا.

وNFKC تحويل توافقي، فهي تغيّر حروفًا خارج العربية أيضًا، مثل الحروف اللاتينية كاملة العرض. وهذا ما تريده عادةً في مفتاح البحث، وسبب إضافي لتحتفظ بالأصل بجانبه.

ما الذي يجب ألا توحّده؟

  • النص الذي تعرضه أو تستشهد به أو تقتبسه. فالعربية الموحَّدة تبدو خاطئة الإملاء (المدينه). خزّن الأصل بجانب المفتاح.
  • ما ترسله إلى نموذج LLM. النماذج تقرأ الهمزة والتشكيل جيدًا، والنص الدقيق يحفظ الأسماء والاقتباسات صحيحة. وحذف التشكيل يوفر بعض الرموز (التوكنز)؛ فتحقق من عددها بـعدّاد الرموز العربية قبل أن تضحي بالدقة من أجلها.
  • النص الذي تحمل فيه الحركات معنى: القرآن، والحديث، والشعر، وكتب الأطفال، ومهام النطق والتشكيل (انظر التشكيل بنموذج LLM).
  • التدقيق الإملائي أو النحوي: فالتوحيد أولًا يمحو أخطاء الهمزة والتاء المربوطة التي تريد إصلاحها؛ انظر التدقيق الإملائي والنحوي للنص العربي بنموذج LLM.
  • المعرّفات. رموز المنتجات، والبريد الإلكتروني، والروابط، والنص اللاتيني يجب ألا تمر بقواعد العربية. طبّق التوحيد على الحقول المكتوبة بالحرف العربي فقط، أو على الكلمات العربية فقط.
  • الحقول التي يبحث فيها الناس بدقة. للأسماء القانونية أو الحقول الشبيهة بالمعرّفات، افهرس نسخة خامًا أيضًا، كي تتصدر المطابقة التامة.

كيف تختلف CAMeL Tools وPyArabic وLucene؟

لا تطبّق القواعد نفسها، والخلط بينها يعطيك فهرسًا واستعلامات لا تتطابق أبدًا. قرأنا وثائق كل مكتبة وشيفرتها المصدرية، وشغّلنا PyArabic 0.6.15:

الدالة ما تفعله فعلًا
CAMeL normalize_unicode NFKC (أو NFC مع compatibility=False)؛ وتوسّع أيضًا ﷼ إلى ريال، و﷽ إلى عبارتها الكاملة
CAMeL normalize_alef_ar إ أ ٱ آ ← ا
CAMeL normalize_alef_maksura_ar ى ← ي
CAMeL normalize_teh_marbuta_ar ة ← ه
CAMeL dediac_ar تحذف U+064B إلى U+0652 وU+0670؛ وتترك التطويل
PyArabic strip_tashkeel تحذف كل الحركات بما فيها الشدة
PyArabic strip_tatweel تحذف ـ
PyArabic normalize_alef كل صور الألف وى ← ا، فتصبح إلى الا
PyArabic normalize_hamza طريقتها الافتراضية تحوّل كل صور الهمزة إلى ء، بما فيها أ، فتصبح أحمد ءحمد
Lucene ArabicNormalizer صور الألف المهموزة ← ا، وة ← ه، وى ← ي، وتحذف الحركات والتطويل

صفوف PyArabic تفاجئ الناس. فتوثيق normalize_alef يقول إن الألف المقصورة مستثناة، لكن المجموعة ALEFAT في الإصدار 0.6.15 تضم ى، والدالة تحوّلها إلى ا. وnormalize_hamza مبنية للمطابقة التي تتجاهل الهمزة، لا للبحث العام. والترتيب مهم أيضًا: شغّل توحيد الألف أولًا، فلا تمسّ normalize_hamza بعدها إلا ؤ وئ وء، فتصبح مسؤول ومسئول كلتاهما مسءول. أما طريقتها tasheel فتعطي مسوول ومسيول بدلًا من ذلك، وهما لا تتطابقان.

ويستخدم مرشح arabic_normalization في Elasticsearch أداة التوحيد من Lucene، لذا يجب على خط Python الذي يريد مطابقة فهرس Elasticsearch أن ينسخ قواعد Lucene بالضبط. أي ى ← ي، لا ى ← ا.

كيف تبدو أداة توحيد مُختبرة؟

تتبع هذه الدالة اختيارات Lucene، وتضيف معالجة Unicode والأرقام والحروف الفارسية، وتجعل القواعد الخطرة قابلة للتشغيل والإيقاف. ولا تستخدم إلا المكتبة القياسية.

import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text

ما أعادته على سلاسل الاختبار عندنا:

المدخل الناتج ملاحظة
أَحْمَدُ احمد زال التشكيل والهمزة
الـــمدينة المدينه التطويل والتاء المربوطة
إلى الي الألف والألف المقصورة
ا + U+0654 + مل امل رُكّبت الهمزة المفكّكة، ثم وُحّدت
ﻻبد لابد فُكّ شكل العرض
٢٠٢٦ / ۱۴۰۵ 2026 / 1405 الأرقام العربية الهندية والفارسية
مسؤول / مسئول كلتاهما مسءول مع hamza_seats=True دون تغيير افتراضيًا
فارسی فارسي الياء الفارسية

استخدمها في موضعين: حين تبني مفتاح الفهرس، وحين تقرأ استعلامًا. خزّن original وnormalize(original) جنبًا إلى جنب، وابحث في الثاني وأعِد الأول. وتتيح لك أداة توحيد النص العربي المجانية لصق نص ورؤية أثر كل قاعدة قبل أن تختار إعداداتك.

كيف يتلاءم التوحيد مع التضمينات وRAG؟

يحوي خط RAG عادةً أداتي استرجاع: البحث بالكلمات المفتاحية (BM25) والتضمينات. والتوحيد يفيد جانب الكلمات المفتاحية بوضوح. أما جانب التضمينات، فالدليل أعلاه لا ينطبق عليه: إذ تُدرَّب نماذج التضمين على النص الخام، وكثير منها يضع احمد وأحمد متقاربتين أصلًا. فالتوحيد قبل التضمين قد يفيد، أو لا يفعل شيئًا، أو يضر. ابنِ من 50 إلى 100 استعلام حقيقي بإجابات معروفة، وشغّلها بمدخل خام وموحَّد، واحتفظ بما يعطي استدعاءً أعلى. وأيًّا كان اختيارك، فطبّقه على المستندات والاستعلامات بالطريقة نفسها.

ويخفّض التوحيد أيضًا عدد الرموز قليلًا، لأن التشكيل والتطويل حروف إضافية بالنسبة إلى مُقسِّم الرموز. والنسب المقيسة في مجموعة بيانات كفاءة مُقسِّمات الرموز وفي عدد الرموز لكل كلمة في العربية. والتوحيد نفسه يُستخدم لقياس التعرّف على الكلام بإنصاف؛ انظر شرح معدل WER للعربية.

أما العربيزي (العربية بالحروف اللاتينية) فيحتاج إلى نهج مختلف كليًا: كيف تتعامل نماذج LLM مع العربيزي.

أين تناسب BroadNet Inference

يعمل التوحيد في شيفرتك أنت، فلا يحتاج إلى أي API. وتأتي BroadNet Inference بعد الاسترجاع. فهي لا تبيع التضمينات، لذا اجمع أداة استرجاع ومزوّد تضمينات من اختيارك مع نموذج محادثة من BroadNet لخطوة الإجابة. ويستوعب GLM 5.3 وDeepSeek V4.1 Flash سياقًا من 1,048,576 رمزًا، فتستطيع تمرير مقاطع مسترجعة كثيرة بعربيتها الأصلية غير الموحَّدة. ولاختيار نموذج بحسب جودة العربية، انظر اختيار نموذج LLM للعربية. وإن لم تكن تحتاج إلا إلى البحث بالكلمات المفتاحية، فقد يكفيك المحلل arabic المدمج في Elasticsearch.

أسئلة شائعة

هل أحذف التشكيل قبل فهرسة النص العربي؟

للبحث، نعم: فمعظم الاستعلامات ومعظم النصوص الحديثة بلا تشكيل، فلن تتطابق المستندات المشكولة من دون حذفه. احذفه من مفتاح الفهرس ومن الاستعلام، واحتفظ بالنص الأصلي للعرض، وأبقِه في القرآن والشعر ومهام النطق حيث يحمل معنى.

هل تُوحَّد التاء المربوطة (ة) إلى هاء (ه)؟

عادةً في البحث، لأن كثيرين يكتبون ه في آخر الكلمة. لكن ذلك يدمج بعض الأزواج، مثل كتابة وكتابه. فإن كان هذا التصادم مهمًا في مجالك، فأبقِ ة واختبر الإعدادين.

ماذا يفعل توحيد النص العربي في Elasticsearch؟

يستخدم مرشح arabic_normalization أداة ArabicNormalizer من Lucene: تحويل صور الألف المهموزة إلى ألف مجردة، والتاء المربوطة إلى هاء، والألف المقصورة إلى ياء، وحذف الحركات والتطويل. ويضيف المحلل arabic المدمج كلمات التوقف ومُجذِّعًا يحذف أدوات التعريف وحروف العطف والجر المتصلة واللواحق الشائعة.

هل يفيد توحيد النص العربي البحث بالتضمينات؟

هذا غير مثبت. فالمكاسب المقيسة جاءت من الاسترجاع بالكلمات المفتاحية. ونماذج التضمين تتعلم من النص الخام وكثيرًا ما تتعامل مع صيغ الكتابة المختلفة، فابنِ مجموعة صغيرة من استعلامات حقيقية وقارن الاستدعاء مع التوحيد ومن دونه قبل أن تلتزم.

هل أوحّد النص العربي قبل إرساله إلى نموذج LLM؟

عمومًا لا. أرسل النص الأصلي كي تبقى الاقتباسات والأسماء والاستشهادات دقيقة. وحذف التشكيل يوفر بعض الرموز، لكن لا تفعل ذلك إلا حين لا تحتاج المهمة إلى الحركات.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity