---
title: "توحيد النص العربي (التطبيع) للبحث وRAG | BroadRouter"
description: "التشكيل، وصور الألف، والتاء المربوطة، وكراسي الهمزة، والحروف الفارسية، والأرقام، وUnicode: أي قواعد توحيد النص العربي تفيد البحث، وأيها تضر، مع شيفرة Python مُختبرة."
url: https://broadrouter.com/ar/blog/arabic-text-normalization-search/
lang: ar
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

تُرجمت هذه الصفحة من الإنجليزية بمساعدة الذكاء الاصطناعي. [اقرأ الأصل الإنجليزي](https://broadrouter.com/blog/arabic-text-normalization-search/) (حُدّث في 2026-11-16).

# توحيد النص العربي للبحث وRAG: ما الذي تغيّره وما الذي تتركه

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر 2026-11-15 · آخر تحديث 2026-11-16

لفهارس البحث وRAG، وحّد النسخة المخزّنة وكل استعلام بالطريقة نفسها: صيغة Unicode NFKC، وحذف التشكيل والتطويل، وتوحيد صور الألف، وتحويل ى إلى ي وة إلى ه، وتحويل الأرقام. واحتفظ بالنص الأصلي للعرض ولنموذج LLM. وعامل كراسي الهمزة والتاء المربوطة كإعدادات قابلة للضبط: فهي ترفع الاستدعاء لكنها تدمج بعض الكلمات المختلفة.

## أبرز النقاط

-   وحّد مفتاح البحث، لا النص الذي تعرضه أو تستشهد به أبدًا. وخزّن الأصل بجانبه.
-   في دراسة كلاسيكية على مجموعة أخبار TREC-2001 العربية، رفع التوحيد وحده متوسط الدقة من .194 إلى .238، وبلغ .376 بإضافة التجذيع الخفيف.
-   شغّل Unicode NFKC أولًا. فهي تركّب الهمزة المفكّكة، وتفكّ أشكال العرض والحروف المركّبة، وتجعل القواعد اللاحقة موثوقة.
-   المكتبات تختلف. فدالة normalize\_alef في PyArabic تحوّل ى إلى ا، بينما تحوّل CAMeL Tools ى إلى ي. اختر مجموعة قواعد واحدة واستخدمها في كل مكان.
-   للبحث بالتضمينات، اختبر المدخل الموحَّد والخام على استعلاماتك أنت. فقواعد التوحيد قيست على البحث بالكلمات المفتاحية.

**في هذه الصفحة**

1.  هل يفيد التوحيد الاسترجاع فعلًا؟
2.  ما الذي يجب توحيده، وما ثمن كل قاعدة؟
3.  لماذا يأتي توحيد Unicode أولًا؟
4.  ما الذي يجب ألا توحّده؟
5.  كيف تختلف CAMeL Tools وPyArabic وLucene؟
6.  كيف تبدو أداة توحيد مُختبرة؟
7.  كيف يتلاءم التوحيد مع التضمينات وRAG؟
8.  أين تناسب BroadNet Inference

تسمح العربية بكتابة الكلمة نفسها بطرق عدة. يكتب المستخدم احمد، ويقول المستند أَحْمَد. وفهرس البحث الذي يقارن الحروف حرفيًا تفوته هذه المطابقة، وكذلك نصف البحث بالكلمات المفتاحية في خط RAG. ويحل التوحيد (التطبيع) ذلك بتحويل الصيغ المختلفة إلى صيغة واحدة قبل المقارنة. لكنه إن نُفّذ بلا عناية دمج أيضًا كلمات تعني أشياء مختلفة. يمر هذا المقال على القواعد واحدة واحدة: ماذا تفعل كل قاعدة، ومتى تطبّقها، وماذا تُفسد، وكيف تختلف المكتبات الرئيسية. وينتهي بشيفرة Python مُختبرة.

ولخط RAG العربي الكامل (التقطيع، والبحث الهجين، والإجابات مع المصادر)، انظر [RAG بالعربية يعمل فعلًا](https://broadrouter.com/ar/blog/arabic-rag-search/). أما هذا المقال فيتعمق في خطوة التوحيد.

## هل يفيد التوحيد الاسترجاع فعلًا؟

نعم، في البحث بالكلمات المفتاحية، والدليل قديم لكنه واضح. اختبر Larkey وBallesteros وConnell (SIGIR 2002) الاسترجاع العربي على مجموعة أخبار TREC-2001. وقبل التجذيع، وحّدوا المدوّنة والاستعلامات: حذفوا التشكيل وعلامات الترقيم، ووحّدوا صور الألف، وحوّلوا ى وة في آخر الكلمة. وكانت نتائجهم أحادية اللغة، باستعلامات غير موسَّعة:

| المعالجة | متوسط الدقة | التغير مقارنة بالخام (محسوبًا من الأرقام المقرّبة) |
| --- | --- | --- |
| نص خام | .194 | — |
| موحَّد | .238 | +22.7% |
| موحَّد + تجذيع خفيف (light8) | .376 | +93.8% |

تحذيران. هذا استرجاع بالكلمات المفتاحية على الأخبار من 2002، لا بحث بالتضمينات. وأكبر مكسب جاء من التجذيع الخفيف (حذف السوابق مثل و وال واللواحق الشائعة)، وهو خطوة منفصلة عن التوحيد. ويطبّق `ArabicAnalyzer` في Lucene والمحلل `arabic` في Elasticsearch الاثنين: أداة توحيد، ثم مُجذِّعًا خفيفًا.

## ما الذي يجب توحيده، وما ثمن كل قاعدة؟

| القاعدة | مثال | فهرس البحث | المخاطرة |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ ← لا، ا + ٔ ← أ | نعم، دائمًا أولًا | تعيد كتابة حروف التوافق في الأبجديات الأخرى أيضًا |
| حذف العلامات غير المرئية | محارف الوصل الصفرية العرض، وRLM/LRM، وBOM | نعم | لا شيء للعربية؛ لكن ZWNJ مهم في الفارسية |
| حذف التشكيل | أَحْمَدُ ← أحمد | نعم | يدمج كلمات لا يميّز بينها إلا الحركات |
| حذف التطويل (ـ) | الـــمدينة ← المدينة | نعم | لا شيء |
| توحيد الألف | أ إ آ ٱ ← ا | نعم | يدمج بضعة أزواج: سأل وسال |
| الألف المقصورة | ى ← ي | عادةً | يدمج على (حرف الجر) وعلي (الاسم) |
| التاء المربوطة | ة ← ه | عادةً | يدمج كتابة وكتابه (كتابُه) |
| كراسي الهمزة | ؤ ئ ← ء | اختياري | يدمج مسؤول ومسئول (جيد) لكنه يدمج كلمات مختلفة أيضًا |
| الحروف الفارسية | ی ← ي، ک ← ك | نعم، إن كان لدى المستخدمين لوحات مفاتيح فارسية | لا شيء للنص العربي |
| الأرقام | ٢٠٢٦ و۲۰۲۶ ← 2026 | نعم | لا شيء؛ واحتفظ بالأصل للعرض |

العمود الأول خاص بمفتاح الفهرس والاستعلام. أما النص الذي تخزّنه وتعرضه وتمرّره إلى النموذج فيبقى كما كُتب.

## لماذا يأتي توحيد Unicode أولًا؟

قد يُخزَّن الحرف المرئي نفسه بطرق مختلفة. فقد تكون أ نقطة رمز واحدة (U+0623)، أو ألفًا مجردة تليها همزة مركّبة (U+0627 U+0654). وتُنتج ملفات PDF القديمة وبعض لوحات المفاتيح أشكال العرض العربية (U+FB50 إلى U+FEFF)، مثل اللام ألف ﻻ في حرف واحد. وفي [توحيد Unicode](https://unicode.org/reports/tr15/)، تركّب NFC الهمزة على الألف، وتفكّ NFKC أيضًا أشكال العرض والحروف المركّبة. ففي Python، تعيد `unicodedata.normalize("NFKC", "ﻻ")` لا، ويصبح `ﷲ` الله.

شغّل هذا قبل أي شيء آخر. وإلا فاتت التعبيرَ النمطي الذي يستبدل أ الصيغةُ المفكّكة. وهناك فخ ثانٍ: تحذف `dediac_ar` في CAMeL Tools الحروف الموجودة في `AR_DIAC_CHARSET` (U+064B إلى U+0652 وU+0670). وهذه المجموعة لا تضم علامات الهمزة والمدّ المركّبة (U+0653 إلى U+0655)، فتبقى هذه في النص المفكّك بعد حذف التشكيل. أما NFKC فتركّبها أولًا.

وNFKC تحويل توافقي، فهي تغيّر حروفًا خارج العربية أيضًا، مثل الحروف اللاتينية كاملة العرض. وهذا ما تريده عادةً في مفتاح البحث، وسبب إضافي لتحتفظ بالأصل بجانبه.

## ما الذي يجب ألا توحّده؟

-   **النص الذي تعرضه أو تستشهد به أو تقتبسه.** فالعربية الموحَّدة تبدو خاطئة الإملاء (المدينه). خزّن الأصل بجانب المفتاح.
-   **ما ترسله إلى نموذج LLM.** النماذج تقرأ الهمزة والتشكيل جيدًا، والنص الدقيق يحفظ الأسماء والاقتباسات صحيحة. وحذف التشكيل يوفر بعض الرموز (التوكنز)؛ فتحقق من عددها بـ[عدّاد الرموز العربية](https://broadrouter.com/tools/arabic-token-counter/) قبل أن تضحي بالدقة من أجلها.
-   **النص الذي تحمل فيه الحركات معنى:** القرآن، والحديث، والشعر، وكتب الأطفال، ومهام النطق والتشكيل (انظر [التشكيل بنموذج LLM](https://broadrouter.com/ar/blog/arabic-diacritization-llm/)).
-   **التدقيق الإملائي أو النحوي:** فالتوحيد أولًا يمحو أخطاء الهمزة والتاء المربوطة التي تريد إصلاحها؛ انظر [التدقيق الإملائي والنحوي للنص العربي بنموذج LLM](https://broadrouter.com/ar/blog/arabic-grammar-spelling-correction-llm/).
-   **المعرّفات.** رموز المنتجات، والبريد الإلكتروني، والروابط، والنص اللاتيني يجب ألا تمر بقواعد العربية. طبّق التوحيد على الحقول المكتوبة بالحرف العربي فقط، أو على الكلمات العربية فقط.
-   **الحقول التي يبحث فيها الناس بدقة.** للأسماء القانونية أو الحقول الشبيهة بالمعرّفات، افهرس نسخة خامًا أيضًا، كي تتصدر المطابقة التامة.

## كيف تختلف CAMeL Tools وPyArabic وLucene؟

لا تطبّق القواعد نفسها، والخلط بينها يعطيك فهرسًا واستعلامات لا تتطابق أبدًا. قرأنا وثائق كل مكتبة وشيفرتها المصدرية، وشغّلنا PyArabic 0.6.15:

| الدالة | ما تفعله فعلًا |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (أو NFC مع `compatibility=False`)؛ وتوسّع أيضًا ﷼ إلى ريال، و﷽ إلى عبارتها الكاملة |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ ← ا |
| CAMeL `normalize_alef_maksura_ar` | ى ← ي |
| CAMeL `normalize_teh_marbuta_ar` | ة ← ه |
| CAMeL `dediac_ar` | تحذف U+064B إلى U+0652 وU+0670؛ وتترك التطويل |
| PyArabic `strip_tashkeel` | تحذف كل الحركات بما فيها الشدة |
| PyArabic `strip_tatweel` | تحذف ـ |
| PyArabic `normalize_alef` | كل صور الألف **وى** ← ا، فتصبح إلى الا |
| PyArabic `normalize_hamza` | طريقتها الافتراضية تحوّل كل صور الهمزة إلى ء، بما فيها أ، فتصبح أحمد ءحمد |
| Lucene `ArabicNormalizer` | صور الألف المهموزة ← ا، وة ← ه، وى ← ي، وتحذف الحركات والتطويل |

صفوف PyArabic تفاجئ الناس. فتوثيق `normalize_alef` يقول إن الألف المقصورة مستثناة، لكن المجموعة `ALEFAT` في الإصدار 0.6.15 تضم ى، والدالة تحوّلها إلى ا. و`normalize_hamza` مبنية للمطابقة التي تتجاهل الهمزة، لا للبحث العام. والترتيب مهم أيضًا: شغّل توحيد الألف أولًا، فلا تمسّ `normalize_hamza` بعدها إلا ؤ وئ وء، فتصبح مسؤول ومسئول كلتاهما مسءول. أما طريقتها `tasheel` فتعطي مسوول ومسيول بدلًا من ذلك، وهما لا تتطابقان.

ويستخدم مرشح `arabic_normalization` في Elasticsearch أداة التوحيد من Lucene، لذا يجب على خط Python الذي يريد مطابقة فهرس Elasticsearch أن ينسخ قواعد Lucene بالضبط. أي ى ← ي، لا ى ← ا.

## كيف تبدو أداة توحيد مُختبرة؟

تتبع هذه الدالة اختيارات Lucene، وتضيف معالجة Unicode والأرقام والحروف الفارسية، وتجعل القواعد الخطرة قابلة للتشغيل والإيقاف. ولا تستخدم إلا المكتبة القياسية.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

ما أعادته على سلاسل الاختبار عندنا:

| المدخل | الناتج | ملاحظة |
| --- | --- | --- |
| أَحْمَدُ | احمد | زال التشكيل والهمزة |
| الـــمدينة | المدينه | التطويل والتاء المربوطة |
| إلى | الي | الألف والألف المقصورة |
| ا + U+0654 + مل | امل | رُكّبت الهمزة المفكّكة، ثم وُحّدت |
| ﻻبد | لابد | فُكّ شكل العرض |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | الأرقام العربية الهندية والفارسية |
| مسؤول / مسئول | كلتاهما مسءول مع `hamza_seats=True` | دون تغيير افتراضيًا |
| فارسی | فارسي | الياء الفارسية |

استخدمها في موضعين: حين تبني مفتاح الفهرس، وحين تقرأ استعلامًا. خزّن `original` و`normalize(original)` جنبًا إلى جنب، وابحث في الثاني وأعِد الأول. وتتيح لك [أداة توحيد النص العربي](https://broadrouter.com/tools/arabic-text-normalizer/) المجانية لصق نص ورؤية أثر كل قاعدة قبل أن تختار إعداداتك.

## كيف يتلاءم التوحيد مع التضمينات وRAG؟

يحوي خط RAG عادةً أداتي استرجاع: البحث بالكلمات المفتاحية (BM25) و[التضمينات](https://broadrouter.com/ar/glossary/embeddings/). والتوحيد يفيد جانب الكلمات المفتاحية بوضوح. أما جانب التضمينات، فالدليل أعلاه لا ينطبق عليه: إذ تُدرَّب نماذج التضمين على النص الخام، وكثير منها يضع احمد وأحمد متقاربتين أصلًا. فالتوحيد قبل التضمين قد يفيد، أو لا يفعل شيئًا، أو يضر. ابنِ من 50 إلى 100 استعلام حقيقي بإجابات معروفة، وشغّلها بمدخل خام وموحَّد، واحتفظ بما يعطي استدعاءً أعلى. وأيًّا كان اختيارك، فطبّقه على المستندات والاستعلامات بالطريقة نفسها.

ويخفّض التوحيد أيضًا عدد الرموز قليلًا، لأن التشكيل والتطويل حروف إضافية بالنسبة إلى [مُقسِّم الرموز](https://broadrouter.com/ar/glossary/tokenizer/). والنسب المقيسة في [مجموعة بيانات كفاءة مُقسِّمات الرموز](https://broadrouter.com/data/tokenizer-efficiency/) وفي [عدد الرموز لكل كلمة في العربية](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/). والتوحيد نفسه يُستخدم لقياس التعرّف على الكلام بإنصاف؛ انظر [شرح معدل WER للعربية](https://broadrouter.com/ar/blog/arabic-asr-wer-explained/).

أما العربيزي (العربية بالحروف اللاتينية) فيحتاج إلى نهج مختلف كليًا: [كيف تتعامل نماذج LLM مع العربيزي](https://broadrouter.com/ar/blog/arabizi-llm-handling/).

## أين تناسب BroadNet Inference

يعمل التوحيد في شيفرتك أنت، فلا يحتاج إلى أي API. وتأتي BroadNet Inference بعد الاسترجاع. فهي لا تبيع التضمينات، لذا اجمع أداة استرجاع ومزوّد تضمينات من اختيارك مع نموذج محادثة من BroadNet لخطوة الإجابة. ويستوعب [GLM 5.3](https://broadrouter.com/ar/models/glm-5.3/) وDeepSeek V4.1 Flash سياقًا من 1,048,576 رمزًا، فتستطيع تمرير مقاطع مسترجعة كثيرة بعربيتها الأصلية غير الموحَّدة. ولاختيار نموذج بحسب جودة العربية، انظر [اختيار نموذج LLM للعربية](https://broadrouter.com/ar/blog/choosing-an-llm-for-arabic/). وإن لم تكن تحتاج إلا إلى البحث بالكلمات المفتاحية، فقد يكفيك المحلل `arabic` المدمج في Elasticsearch.

أدوات مجانية لهذا الموضوع (بالإنجليزية)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[أدوات مجانية (بالإنجليزية)](https://broadrouter.com/tools/)

## مصطلحات في هذا المقال

[التشكيل (الحركات العربية، Arabic diacritics)](https://broadrouter.com/ar/glossary/arabic-diacritics/)

التشكيل هو علامات صغيرة تُكتب فوق الحروف العربية أو تحتها لبيان الحركات القصيرة والحروف المضعّفة وغياب الحركة. وهو اختياري: تخلو منه معظم النصوص العربية، ومنها الأخبار، فيستنتج القرّاء والبرمجيات الحركات من السياق.

[الهمزة (Hamza)](https://broadrouter.com/ar/glossary/hamza/)

الهمزة (ء) حرف عربي يمثّل الوقفة الحنجرية. تُكتب منفردة أو على كرسي: الألف (أ إ) أو الواو (ؤ) أو الياء (ئ)، أما آ فتجمع الألف والمدّة. ولأن النص المكتوب غير منتظم في رسمها، كثيرًا ما توحّد محركات البحث وأدوات تقييم الكلام أشكال الألف إلى ا.

[التضمينات (Embeddings)](https://broadrouter.com/ar/glossary/embeddings/)

التضمينات (embeddings) قوائم من الأعداد العشرية (متجهات) يُنتجها نموذج لتمثيل قطعة نص أو صورة أو أي مدخل آخر. وتحصل المدخلات المتشابهة في المعنى على متجهات متقاربة، فيمكن استخدام المسافة بين المتجهات لترتيب نتائج البحث أو تجميع المستندات أو إيجاد العناصر المرتبطة.

[توحيد النص العربي (Arabic text normalization)](https://broadrouter.com/ar/glossary/arabic-text-normalization/)

توحيد النص العربي هو الخطوة التي تحوّل الصيغ الإملائية المختلفة للكلمة نفسها إلى صيغة واحدة قبل المطابقة: حذف التشكيل والتطويل، وتوحيد أشكال الألف، وغالبًا تحويل ى إلى ي وة إلى ه. ويُطبَّق على مفاتيح البحث والتقييم، لا على النص الذي تعرضه.

[توحيد Unicode (Unicode normalization)](https://broadrouter.com/ar/glossary/unicode-normalization/)

توحيد Unicode هو تحويل النص إلى صيغة معيارية بحيث تستخدم السلاسل التي تبدو متطابقة نقاط الترميز نفسها. والصيغ الأربع هي NFD وNFC وNFKD وNFKC؛ وصيغتا K تطويان أيضًا محارف التوافق، مثل أشكال العرض العربية والحروف المركّبة، إلى حروف عادية.

[BM25 (ترتيب نتائج البحث بالكلمات المفتاحية)](https://broadrouter.com/ar/glossary/bm25/)

BM25 (أو Okapi BM25) هي دالة ترتيب للبحث بالكلمات المفتاحية تمنح المستند درجة بحسب عدد مرات ظهور كلمات الاستعلام فيه، ومدى ندرة هذه الكلمات في المجموعة كلها، وطول المستند. وهي مقياس التشابه الافتراضي في Lucene وElasticsearch.

[استدعاء الأدوات (Tool calling)](https://broadrouter.com/ar/glossary/tool-calling/)

استدعاء الأدوات، ويُسمّى أيضًا استدعاء الدوال (function calling)، ميزة في واجهات LLM API يُرجع فيها النموذج طلبًا منظَّمًا لتشغيل دالة عرّفها المطوّر، مع معاملات بصيغة JSON. ويشغّل التطبيق الدالة ويعيد النتيجة؛ فالنموذج لا يشغّل الشيفرة بنفسه أبدًا.

[RAG (التوليد المعزّز بالاسترجاع)](https://broadrouter.com/ar/glossary/rag/)

RAG (التوليد المعزّز بالاسترجاع) نمط يسترجع فيه التطبيق أولًا مقاطع متصلة بالسؤال من مخزن خارجي، مثل فهرس بحث أو فهرس متجهات، ثم يضيفها إلى الأمر ليجيب النموذج اللغوي من ذلك النص لا من ذاكرته وحدها.

## أسئلة شائعة

### هل أحذف التشكيل قبل فهرسة النص العربي؟

للبحث، نعم: فمعظم الاستعلامات ومعظم النصوص الحديثة بلا تشكيل، فلن تتطابق المستندات المشكولة من دون حذفه. احذفه من مفتاح الفهرس ومن الاستعلام، واحتفظ بالنص الأصلي للعرض، وأبقِه في القرآن والشعر ومهام النطق حيث يحمل معنى.

### هل تُوحَّد التاء المربوطة (ة) إلى هاء (ه)؟

عادةً في البحث، لأن كثيرين يكتبون ه في آخر الكلمة. لكن ذلك يدمج بعض الأزواج، مثل كتابة وكتابه. فإن كان هذا التصادم مهمًا في مجالك، فأبقِ ة واختبر الإعدادين.

### ماذا يفعل توحيد النص العربي في Elasticsearch؟

يستخدم مرشح arabic\_normalization أداة ArabicNormalizer من Lucene: تحويل صور الألف المهموزة إلى ألف مجردة، والتاء المربوطة إلى هاء، والألف المقصورة إلى ياء، وحذف الحركات والتطويل. ويضيف المحلل arabic المدمج كلمات التوقف ومُجذِّعًا يحذف أدوات التعريف وحروف العطف والجر المتصلة واللواحق الشائعة.

### هل يفيد توحيد النص العربي البحث بالتضمينات؟

هذا غير مثبت. فالمكاسب المقيسة جاءت من الاسترجاع بالكلمات المفتاحية. ونماذج التضمين تتعلم من النص الخام وكثيرًا ما تتعامل مع صيغ الكتابة المختلفة، فابنِ مجموعة صغيرة من استعلامات حقيقية وقارن الاستدعاء مع التوحيد ومن دونه قبل أن تلتزم.

### هل أوحّد النص العربي قبل إرساله إلى نموذج LLM؟

عمومًا لا. أرسل النص الأصلي كي تبقى الاقتباسات والأسماء والاستشهادات دقيقة. وحذف التشكيل يوفر بعض الرموز، لكن لا تفعل ذلك إلا حين لا تحتاج المهمة إلى الحركات.

## تابع القراءة

-   [RAG للعربية: التطبيع والتقطيع والاسترجاع الذي ينجح فعلًا](https://broadrouter.com/ar/blog/arabic-rag-search/)
-   [عدد الرموز لكل كلمة في العربية والإنجليزية: لماذا تكلّف العربية أكثر؟](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/)
-   [معدل خطأ الكلمات (WER) في التعرّف على الكلام العربي: شرح مبسّط](https://broadrouter.com/ar/blog/arabic-asr-wer-explained/)
-   [العربيزي ونماذج LLM: التعامل مع الفرانكو والأرقام مثل 3 و7](https://broadrouter.com/ar/blog/arabizi-llm-handling/)
-   [اختيار LLM API للغة العربية: ما الذي تختبره؟](https://broadrouter.com/ar/blog/choosing-an-llm-for-arabic/)
-   [استخراج الكيانات المسماة من النص العربي بنموذج LLM: JSON والتواريخ](https://broadrouter.com/ar/blog/arabic-named-entity-extraction-llm/)
-   [تشكيل النص العربي بنموذج LLM: الأمر والتحقق ومعدل DER](https://broadrouter.com/ar/blog/arabic-diacritization-llm/)
-   [التدقيق الإملائي والنحوي للنص العربي بنموذج LLM: دليل عملي](https://broadrouter.com/ar/blog/arabic-grammar-spelling-correction-llm/)
-   [محضر اجتماع عربي من التسجيلات: مسار عمل عبر API](https://broadrouter.com/ar/blog/arabic-meeting-minutes-from-recordings/)
-   [مقارنة واجهات OCR العربي: Google وAzure وTextract وMistral ونماذج LLM](https://broadrouter.com/ar/blog/arabic-ocr-api-comparison/)
-   [دليل: استخدام OpenAI Python SDK مع BroadNet Inference](https://broadrouter.com/ar/guides/openai-python-sdk/)

جرّبه على مهامك الفعلية. تبدأ الحسابات الجديدة برصيد قدره $5 لاستخدام Gemma والتفريغ الصوتي. أما DeepSeek وGLM وQwen3.8 فتتطلب شحن الرصيد.

[ابدأ الآن](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**المصادر**

-   [Larkey وBallesteros وConnell، Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis، SIGIR 2002 (رُوجع في 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [وثائق CAMeL Tools 1.6.0، الوحدة camel\_tools.utils.normalize (رُوجعت في 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [الشيفرة المصدرية لـCAMeL Tools، الملف charsets.py: المجموعة AR\_DIAC\_CHARSET التي تستخدمها dediac\_ar (رُوجعت في 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 على GitHub، الوحدة araby (رُوجع في 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [وثائق ArabicNormalizer في Apache Lucene 9.12 (رُوجعت في 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [مرشحات التوحيد في Elasticsearch: arabic\_normalization (رُوجعت في 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [الملحق القياسي رقم 15 من Unicode، صيغ توحيد Unicode (رُوجع في 2026-11-15)](https://unicode.org/reports/tr15/)
-   [جدول رموز Unicode العربية، من U+0600 إلى U+06FF (رُوجع في 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
