---
title: "سرچ اور RAG کے لیے عربی متن کی normalization | BroadRouter"
description: "تشکیل، الف کی شکلیں، ta marbuta، ہمزہ، فارسی حروف، ہندسے اور Unicode: عربی normalization کے کون سے اصول سرچ میں مدد دیتے ہیں، کون نقصان، اور ٹیسٹ شدہ Python۔"
url: https://broadrouter.com/ur/blog/arabic-text-normalization-search/
lang: ur
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/blog/arabic-text-normalization-search/) (اپ ڈیٹ: 2026-11-16).

# سرچ اور RAG کے لیے عربی متن کی normalization: کیا بدلیں، کیا نہیں

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ 2026-11-15 · اپ ڈیٹ 2026-11-16

سرچ اور RAG index کے لیے محفوظ کاپی اور ہر query، دونوں کو ایک ہی طرح normalize کریں: Unicode NFKC، تشکیل اور tatweel ہٹائیں، الف کی شکلیں یکساں کریں، ى کو ي اور ة کو ه میں بدلیں، اور ہندسے تبدیل کریں۔ دکھانے اور LLM کے لیے اصل متن رکھیں۔ ہمزہ کی کرسیوں اور ta marbuta کو قابلِ ترتیب سمجھیں: یہ recall بڑھاتے ہیں مگر کچھ الگ الفاظ کو ملا دیتے ہیں۔

## اہم نکات

-   سرچ key کو normalize کریں، اس متن کو کبھی نہیں جسے آپ دکھاتے یا حوالہ دیتے ہیں۔ اصل کو اس کے ساتھ محفوظ کریں۔
-   TREC-2001 کے عربی خبری ذخیرے پر ایک کلاسیکی مطالعے میں صرف normalization نے average precision کو .194 سے .238 کیا، اور اس پر light stemming نے .376 تک پہنچایا۔
-   پہلے Unicode NFKC چلائیں۔ یہ ٹوٹے ہوئے ہمزہ کو جوڑتا ہے، presentation forms اور ligatures کو کھولتا ہے، اور بعد کے اصولوں کو قابلِ اعتماد بناتا ہے۔
-   لائبریریاں متفق نہیں۔ PyArabic کا normalize\_alef، ى کو ا میں بدلتا ہے؛ CAMeL Tools، ى کو ي میں۔ اصولوں کا ایک set منتخب کریں اور ہر جگہ وہی استعمال کریں۔
-   Embedding سرچ کے لیے اپنی queries پر normalized اور خام ان پٹ دونوں ٹیسٹ کریں۔ Normalization کے اصول keyword سرچ پر ناپے گئے تھے۔

**اس صفحے پر**

1.  کیا normalization واقعی retrieval میں مدد دیتی ہے؟
2.  کیا normalize کریں، اور ہر اصول کی کیا قیمت ہے؟
3.  Unicode normalization پہلے کیوں آنی چاہیے؟
4.  کیا normalize نہیں کرنا چاہیے؟
5.  CAMeL Tools، PyArabic اور Lucene میں کیا فرق ہے؟
6.  ٹیسٹ شدہ normalizer کیسا دکھتا ہے؟
7.  Normalization، embeddings اور RAG میں کیسے فِٹ ہوتی ہے؟
8.  BroadNet Inference کہاں فِٹ ہوتا ہے

عربی میں ایک ہی لفظ کئی طرح لکھا جا سکتا ہے۔ صارف احمد ٹائپ کرتا ہے؛ دستاویز میں أَحْمَد لکھا ہے۔ جو سرچ index حروف کو ہوبہو ملاتا ہے، وہ یہ میچ چوک جاتا ہے، اور RAG پائپ لائن کا keyword والا آدھا حصہ بھی۔ Normalization موازنے سے پہلے شکلوں کو ایک شکل میں بدل کر اسے ٹھیک کرتی ہے۔ لاپروائی سے کی جائے تو یہ مختلف معنی والے الفاظ کو بھی ملا دیتی ہے۔ یہ پوسٹ اصول بہ اصول چلتی ہے: ہر اصول کیا کرتا ہے، کب لاگو کریں، کیا توڑتا ہے، اور اہم لائبریریاں کیسے مختلف ہیں۔ آخر میں ٹیسٹ شدہ Python ہے۔

پوری عربی RAG پائپ لائن (chunking، hybrid سرچ، حوالوں والے جوابات) کے لیے دیکھیں [کام کرنے والا عربی RAG](https://broadrouter.com/ur/blog/arabic-rag-search/)۔ یہ پوسٹ normalization والے مرحلے میں زیادہ گہرائی تک جاتی ہے۔

## کیا normalization واقعی retrieval میں مدد دیتی ہے؟

ہاں، keyword سرچ کے لیے، اور ثبوت پرانا مگر واضح ہے۔ Larkey، Ballesteros اور Connell (SIGIR 2002) نے TREC-2001 کے خبری ذخیرے پر عربی retrieval ٹیسٹ کیا۔ Stemming سے پہلے انہوں نے corpus اور queries کو normalize کیا: اعراب اور رموزِ اوقاف ہٹائے، الف کی شکلیں یکساں کیں، اور لفظ کے آخر کے ى اور ة بدلے۔ ان کے monolingual نتائج، بغیر توسیع والی queries کے ساتھ:

| Processing | Average precision | خام کے مقابلے میں تبدیلی (گول کیے گئے اعداد سے) |
| --- | --- | --- |
| خام متن | .194 | — |
| Normalized | .238 | +22.7% |
| Normalized + light stemming (light8) | .376 | +93.8% |

دو احتیاطیں۔ یہ خبروں پر 2002 کا keyword retrieval ہے، embedding سرچ نہیں۔ اور سب سے بڑا فائدہ light stemming (و اور ال جیسے prefixes اور عام suffixes ہٹانا) سے آیا، جو normalization سے الگ مرحلہ ہے۔ Lucene کا `ArabicAnalyzer` اور Elasticsearch کا `arabic` analyzer دونوں لاگو کرتے ہیں: پہلے normalizer، پھر light stemmer۔

## کیا normalize کریں، اور ہر اصول کی کیا قیمت ہے؟

| اصول | مثال | سرچ index | خطرہ |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | ہاں، ہمیشہ پہلے | دوسرے رسم الخط کے compatibility حروف بھی بدلتا ہے |
| غیر مرئی نشانات ہٹائیں | zero-width joiners، RLM/LRM، BOM | ہاں | عربی کے لیے کوئی نہیں؛ فارسی میں ZWNJ اہم ہے |
| تشکیل ہٹائیں | أَحْمَدُ → أحمد | ہاں | صرف حرکات سے پہچانے جانے والے الفاظ مل جاتے ہیں |
| Tatweel (ـ) ہٹائیں | الـــمدينة → المدينة | ہاں | کوئی نہیں |
| الف یکساں کریں | أ إ آ ٱ → ا | ہاں | کچھ جوڑے مل جاتے ہیں: سأل (پوچھا) اور سال (بہا) |
| Alef maksura | ى → ي | عموماً | على (پر) اور علي (علی) مل جاتے ہیں |
| Ta marbuta | ة → ه | عموماً | كتابة (تحریر) اور كتابه (اس کی کتاب) مل جاتے ہیں |
| ہمزہ کی کرسیاں | ؤ ئ → ء | اختیاری | مسؤول اور مسئول ملتے ہیں (اچھا) مگر کچھ الگ الفاظ بھی |
| فارسی حروف | ی → ي, ک → ك | ہاں، اگر صارفین کے پاس فارسی کی بورڈ ہیں | عربی متن کے لیے کوئی نہیں |
| ہندسے | ٢٠٢٦ اور ۲۰۲۶ → 2026 | ہاں | کوئی نہیں؛ دکھانے کے لیے اصل رکھیں |

پہلا کالم index key اور query کے لیے ہے۔ جو متن آپ محفوظ کرتے، دکھاتے اور ماڈل کو دیتے ہیں، وہ جیسا لکھا ہے ویسا ہی رہتا ہے۔

## Unicode normalization پہلے کیوں آنی چاہیے؟

ایک ہی نظر آنے والا حرف مختلف طریقوں سے محفوظ ہو سکتا ہے۔ أ ایک code point (U+0623) ہو سکتا ہے یا سادہ الف اور اس کے بعد combining ہمزہ (U+0627 U+0654)۔ پرانی PDFs اور کچھ کی بورڈز عربی presentation forms (U+FB50 سے U+FEFF) بناتے ہیں، جیسے ایک حرف والا لام الف ﻻ۔ [Unicode normalization](https://unicode.org/reports/tr15/) میں NFC، ہمزہ کو الف پر جوڑتا ہے، اور NFKC، presentation forms اور ligatures کو بھی کھولتا ہے۔ Python میں `unicodedata.normalize("NFKC", "ﻻ")` لا لوٹاتا ہے، اور `ﷲ` الله بن جاتا ہے۔

اسے سب سے پہلے چلائیں۔ ورنہ أ بدلنے والا regex ٹوٹی ہوئی شکل کو چوک جاتا ہے۔ ایک دوسرا جال بھی ہے: CAMeL Tools کا `dediac_ar` اپنے `AR_DIAC_CHARSET` (U+064B سے U+0652 اور U+0670) کے حروف ہٹاتا ہے۔ اس set میں combining ہمزہ اور مدہ کے نشانات (U+0653 سے U+0655) شامل نہیں، اس لیے ٹوٹے ہوئے متن پر وہ اعراب ہٹانے کے بعد بھی بچ جاتے ہیں۔ NFKC انہیں پہلے جوڑ دیتا ہے۔

NFKC ایک compatibility mapping ہے۔ یہ عربی کے باہر کے حروف بھی بدلتا ہے، جیسے full-width لاطینی حروف۔ سرچ key میں عموماً یہی چاہیے، اور یہ اصل کو اس کے ساتھ رکھنے کی ایک اور وجہ ہے۔

## کیا normalize نہیں کرنا چاہیے؟

-   **وہ متن جو آپ دکھاتے، حوالہ دیتے یا نقل کرتے ہیں۔** Normalized عربی غلط املا والی لگتی ہے (المدينه)۔ اصل کو key کے ساتھ محفوظ کریں۔
-   **جو آپ LLM کو بھیجتے ہیں۔** ماڈلز ہمزہ اور تشکیل ٹھیک پڑھ لیتے ہیں، اور ہوبہو متن نام اور اقتباسات درست رکھتا ہے۔ تشکیل ہٹانے سے کچھ ٹوکن بچتے ہیں؛ درستگی کے بدلے یہ سودا کرنے سے پہلے [عربی ٹوکن کاؤنٹر](https://broadrouter.com/tools/arabic-token-counter/) سے دیکھیں کہ کتنے۔
-   **ایسا متن جہاں نشانات معنی رکھتے ہیں:** قرآن، حدیث، شاعری، بچوں کی کتابیں، تلفظ اور اعراب لگانے والے کام (دیکھیں [LLM سے اعراب لگانا](https://broadrouter.com/ur/blog/arabic-diacritization-llm/))۔
-   **املا یا گرامر کی تصحیح:** پہلے normalize کرنے سے وہی ہمزہ اور taa marbuta کی غلطیاں مٹ جاتی ہیں جنہیں آپ درست کرنا چاہتے ہیں؛ دیکھیں [LLM سے عربی گرامر اور املا کی تصحیح](https://broadrouter.com/ur/blog/arabic-grammar-spelling-correction-llm/)۔
-   **Identifiers۔** پروڈکٹ کوڈ، ای میلز، URLs اور لاطینی متن عربی اصولوں سے نہیں گزرنے چاہییں۔ Normalization صرف عربی رسم الخط والے فیلڈز پر، یا صرف عربی ٹوکنز پر لاگو کریں۔
-   **ایسے فیلڈز جنہیں لوگ ہوبہو تلاش کرتے ہیں۔** قانونی ناموں یا ID جیسے فیلڈز کے لیے ایک خام کاپی بھی index کریں، تاکہ عین میچ پھر بھی سب سے اوپر آ سکے۔

## CAMeL Tools، PyArabic اور Lucene میں کیا فرق ہے؟

یہ ایک جیسے اصول نافذ نہیں کرتے، اور انہیں ملانے سے ایسا index اور queries بنتی ہیں جو کبھی میچ نہیں ہوتیں۔ ہم نے ہر لائبریری کی دستاویزات اور source پڑھا، اور PyArabic 0.6.15 چلایا:

| Function | اصل میں کیا کرتا ہے |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (یا `compatibility=False` کے ساتھ NFC)؛ ﷼ کو ريال اور ﷽ کو اس کے پورے جملے میں بھی پھیلاتا ہے |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | U+064B سے U+0652 اور U+0670 ہٹاتا ہے؛ tatweel چھوڑ دیتا ہے |
| PyArabic `strip_tashkeel` | شدہ سمیت تمام harakat ہٹاتا ہے |
| PyArabic `strip_tatweel` | ـ ہٹاتا ہے |
| PyArabic `normalize_alef` | الف کی ہر شکل **اور ى** → ا، اس لیے إلى بن جاتا ہے الا |
| PyArabic `normalize_hamza` | ڈیفالٹ طریقہ ہمزہ کی ہر شکل کو ء میں بدلتا ہے، أ سمیت، اس لیے أحمد بن جاتا ہے ءحمد |
| Lucene `ArabicNormalizer` | الف پر ہمزہ والی شکلیں → ا، ة → ه، ى → ي، harakat اور tatweel ہٹاتا ہے |

PyArabic والی سطریں لوگوں کو حیران کرتی ہیں۔ اس کے `normalize_alef` کا docstring کہتا ہے کہ alef maksura استثنا ہے، مگر 0.6.15 میں `ALEFAT` set میں ى شامل ہے، اور function اسے ا میں بدل دیتا ہے۔ اس کا `normalize_hamza` ہمزہ سے بے پروا میچنگ کے لیے بنا ہے، عام سرچ کے لیے نہیں۔ ترتیب بھی اہم ہے: پہلے الف کی normalization چلائیں، تو `normalize_hamza` صرف ؤ، ئ اور ء کو چھوتا ہے، اس لیے مسؤول اور مسئول دونوں مسءول بن جاتے ہیں۔ اس کا `tasheel` طریقہ اس کی بجائے مسوول اور مسيول دیتا ہے، جو آپس میں میچ نہیں ہوتے۔

Elasticsearch کا `arabic_normalization` filter، Lucene normalizer استعمال کرتا ہے، اس لیے جو Python پائپ لائن کسی Elasticsearch index سے میچ ہونا چاہتی ہے، اسے Lucene کے اصول ہوبہو اپنانے چاہییں۔ یعنی ى → ي، ى → ا نہیں۔

## ٹیسٹ شدہ normalizer کیسا دکھتا ہے؟

یہ function، Lucene کے فیصلوں کی پیروی کرتا ہے، Unicode، ہندسوں اور فارسی حروف کو سنبھالنا شامل کرتا ہے، اور خطرے والے اصولوں کو آن آف کرنے کے قابل بناتا ہے۔ یہ صرف standard library استعمال کرتا ہے۔

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

ہماری ٹیسٹ strings پر اس نے یہ لوٹایا:

| ان پٹ | آؤٹ پٹ | نوٹ |
| --- | --- | --- |
| أَحْمَدُ | احمد | تشکیل اور ہمزہ ہٹ گئے |
| الـــمدينة | المدينه | Tatweel اور ta marbuta |
| إلى | الي | الف اور alef maksura |
| ا + U+0654 + مل | امل | ٹوٹا ہمزہ جڑا، پھر یکساں کیا گیا |
| ﻻبد | لابد | Presentation form کھولا گیا |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | عربی-ہندی اور فارسی ہندسے |
| مسؤول / مسئول | `hamza_seats=True` کے ساتھ دونوں مسءول | ڈیفالٹ میں بغیر تبدیلی |
| فارسی | فارسي | فارسی ی |

اسے دو جگہ استعمال کریں: جب آپ index key بناتے ہیں اور جب آپ query پڑھتے ہیں۔ `original` اور `normalize(original)` ساتھ ساتھ محفوظ کریں، دوسرے پر سرچ کریں اور پہلا لوٹائیں۔ مفت [عربی متن normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) میں آپ متن پیسٹ کر کے اپنی سیٹنگز منتخب کرنے سے پہلے ہر اصول کا اثر دیکھ سکتے ہیں۔

## Normalization، embeddings اور RAG میں کیسے فِٹ ہوتی ہے؟

RAG پائپ لائن میں عموماً دو retrievers ہوتے ہیں: keyword سرچ (BM25) اور [embeddings](https://broadrouter.com/ur/glossary/embeddings/)۔ Normalization واضح طور پر keyword والے حصے کی مدد کرتی ہے۔ Embedding والے حصے پر اوپر والا ثبوت لاگو نہیں ہوتا: embedding ماڈلز خام متن پر trained ہوتے ہیں، اور بہت سے پہلے ہی احمد اور أحمد کو قریب قریب رکھتے ہیں۔ Embedding سے پہلے normalize کرنا مدد دے سکتا ہے، کچھ نہ کرے، یا نقصان دے۔ معلوم جوابات والی 50 سے 100 اصل queries بنائیں، انہیں خام اور normalized ان پٹ کے ساتھ چلائیں، اور جو زیادہ recall دے وہ رکھیں۔ جو بھی منتخب کریں، اسے دستاویزات اور queries پر یکساں لاگو کریں۔

Normalization ٹوکنز کی تعداد بھی تھوڑی کم کرتی ہے، کیونکہ اعراب اور tatweel، [tokenizer](https://broadrouter.com/ur/glossary/tokenizer/) کے لیے اضافی حروف ہیں۔ ناپے گئے تناسب [tokenizer efficiency dataset](https://broadrouter.com/data/tokenizer-efficiency/) اور [عربی میں فی لفظ ٹوکن](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/) میں ہیں۔ Speech recognition کو منصفانہ اسکور کرنے کے لیے بھی یہی normalization استعمال ہوتی ہے؛ دیکھیں [عربی WER کی وضاحت](https://broadrouter.com/ur/blog/arabic-asr-wer-explained/)۔

Arabizi (لاطینی حروف میں عربی) کو بالکل مختلف طریقہ چاہیے: [LLMs، Arabizi کو کیسے سنبھالتے ہیں](https://broadrouter.com/ur/blog/arabizi-llm-handling/)۔

## BroadNet Inference کہاں فِٹ ہوتا ہے

Normalization آپ کے اپنے کوڈ میں چلتی ہے، اس لیے اس کے لیے کوئی API نہیں چاہیے۔ BroadNet Inference، retrieval کے بعد آتا ہے۔ یہ embeddings نہیں بیچتا، اس لیے اپنی پسند کا retriever اور embeddings فراہم کنندہ جواب والے مرحلے کے لیے BroadNet چیٹ ماڈل کے ساتھ جوڑیں۔ [GLM 5.3](https://broadrouter.com/ur/models/glm-5.3/) اور DeepSeek V4.1 Flash، 1,048,576 ٹوکن کا کانٹیکسٹ لیتے ہیں، اس لیے آپ بہت سے نکالے گئے اقتباسات ان کی اصل، بغیر normalize کی عربی میں بھیج سکتے ہیں۔ عربی معیار پر ماڈل منتخب کرنے کے لیے دیکھیں [عربی کے لیے LLM کا انتخاب](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/)۔ اگر آپ کو صرف keyword سرچ چاہیے تو شاید Elasticsearch کا بلٹ اِن `arabic` analyzer ہی کافی ہو۔

اس موضوع کے مفت ٹولز (انگریزی میں)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[مفت ٹولز (انگریزی میں)](https://broadrouter.com/tools/)

## اس مضمون کی اصطلاحات

[ہمزہ (hamza)](https://broadrouter.com/ur/glossary/hamza/)

ہمزہ (ء) گلوٹل اسٹاپ کے لیے عربی حرف ہے۔ یہ اکیلا یا کسی کرسی پر لکھا جاتا ہے: الف (أ إ)، واؤ (ؤ) یا یاء (ئ)، اور آ الف کو مد کے ساتھ جوڑتا ہے۔ ٹائپ شدہ متن میں یہ یکساں نہیں لکھا جاتا، سو سرچ انجن اور اسپیچ اسکورنگ اکثر الف والی شکلوں کو ا میں بدل دیتے ہیں۔

[ایمبیڈنگز (embeddings)](https://broadrouter.com/ur/glossary/embeddings/)

ایمبیڈنگز فلوٹنگ پوائنٹ اعداد کی فہرستیں (ویکٹرز) ہیں جو کوئی ماڈل متن، تصویر یا دوسرے ان پٹ کی نمائندگی کے لیے بناتا ہے۔ ملتے جلتے معنی والے ان پٹس کے ویکٹرز ایک دوسرے کے قریب ہوتے ہیں، اس لیے ویکٹرز کا فاصلہ سرچ نتائج کی درجہ بندی، دستاویزات کی گروہ بندی یا متعلقہ چیزوں کی تلاش میں کام آتا ہے۔

[Unicode نارملائزیشن (Unicode normalization)](https://broadrouter.com/ur/glossary/unicode-normalization/)

Unicode نارملائزیشن متن کو ایک معیاری شکل میں بدلتی ہے تاکہ ایک جیسی دکھنے والی اسٹرنگز ایک جیسے کوڈ پوائنٹس استعمال کریں۔ چار شکلیں NFD، NFC، NFKD اور NFKC ہیں؛ K والی شکلیں compatibility حروف، جیسے عربی presentation forms اور ligatures، کو بھی عام حروف میں بدل دیتی ہیں۔

[عربی اعراب (tashkeel)](https://broadrouter.com/ur/glossary/arabic-diacritics/)

عربی اعراب، یا tashkeel، حروف کے اوپر یا نیچے لگنے والے چھوٹے نشانات ہیں جو مختصر حرکات، مشدّد حروف اور حرکت کی عدم موجودگی دکھاتے ہیں۔ یہ اختیاری ہیں: خبروں سمیت زیادہ تر عربی متن انہیں چھوڑ دیتا ہے، اس لیے قاری اور سافٹ ویئر سیاق و سباق سے حرکات کا اندازہ لگاتے ہیں۔

[ٹوکن (token)](https://broadrouter.com/ur/glossary/token/)

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

[عربی متن کی نارملائزیشن (Arabic text normalization)](https://broadrouter.com/ur/glossary/arabic-text-normalization/)

عربی متن کی نارملائزیشن وہ مرحلہ ہے جو میچنگ سے پہلے ایک ہی لفظ کی مختلف املاؤں کو ایک شکل میں بدلتا ہے: اعراب اور tatweel ہٹانا، الف کی شکلیں ایک کرنا، اور اکثر ى کو ي اور ة کو ه کرنا۔ یہ سرچ کی اور جانچ پر لگتی ہے، دکھائے جانے والے متن پر نہیں۔

[RAG (retrieval-augmented generation)](https://broadrouter.com/ur/glossary/rag/)

RAG (retrieval-augmented generation) ایک طریقہ ہے جس میں ایپلیکیشن پہلے کسی بیرونی اسٹور، جیسے سرچ یا ویکٹر انڈیکس، سے سوال سے متعلقہ حصے نکالتی ہے، اور پھر انہیں پرامپٹ میں جوڑتی ہے، تاکہ لینگویج ماڈل صرف اپنی یادداشت کے بجائے اس متن سے جواب دے سکے۔

[ٹول کالنگ (tool calling)](https://broadrouter.com/ur/glossary/tool-calling/)

ٹول کالنگ، جسے function calling بھی کہتے ہیں، LLM API کی وہ سہولت ہے جس میں ماڈل ڈویلپر کے طے کردہ کسی فنکشن کو چلانے کی ایک منظم درخواست، JSON آرگیومنٹس کے ساتھ، لوٹاتا ہے۔ ایپلیکیشن فنکشن چلا کر نتیجہ واپس بھیجتی ہے؛ ماڈل خود کبھی کوڈ نہیں چلاتا۔

## عام سوالات

### کیا عربی متن index کرنے سے پہلے تشکیل (اعراب) ہٹا دوں؟

سرچ کے لیے، ہاں: زیادہ تر queries اور زیادہ تر جدید متن میں اعراب نہیں ہوتے، اس لیے ورنہ اعراب والی دستاویزات میچ نہیں ہوں گی۔ انہیں index key اور query سے ہٹائیں، دکھانے کے لیے اصل متن رکھیں، اور قرآن، شاعری یا تلفظ والے کاموں میں انہیں رکھیں جہاں وہ معنی رکھتے ہیں۔

### کیا ta marbuta (ة) کو ha (ه) میں normalize کرنا چاہیے؟

سرچ کے لیے عموماً ہاں، کیونکہ بہت سے لوگ لفظ کے آخر میں ه ٹائپ کرتے ہیں۔ یہ کچھ جوڑوں کو ملا دیتا ہے، جیسے كتابة (تحریر) اور كتابه (اس کی کتاب)۔ اگر آپ کے شعبے میں یہ ٹکراؤ اہم ہیں تو ة رکھیں اور دونوں سیٹنگز ٹیسٹ کریں۔

### Elasticsearch میں عربی normalization کیا کرتی ہے؟

arabic\_normalization token filter، Lucene کا ArabicNormalizer استعمال کرتا ہے: الف پر ہمزہ والی شکلیں سادہ الف میں، ta marbuta کو ha میں، alef maksura کو ya میں، اور harakat اور tatweel ہٹانا۔ بلٹ اِن arabic analyzer اس میں stop words اور ایک stemmer شامل کرتا ہے جو جڑے ہوئے articles، حروفِ عطف، حروفِ جر اور عام suffixes ہٹاتا ہے۔

### کیا عربی normalize کرنے سے embedding سرچ میں مدد ملتی ہے؟

یہ ثابت نہیں ہے۔ ناپے گئے فوائد keyword retrieval سے آتے ہیں۔ Embedding ماڈلز خام متن سے سیکھتے ہیں اور اکثر املا کی شکلیں سنبھال لیتے ہیں، اس لیے فیصلہ کرنے سے پہلے اصل queries کا ایک چھوٹا set بنائیں اور normalization کے ساتھ اور بغیر recall ملائیں۔

### کیا LLM کو بھیجنے سے پہلے عربی متن normalize کروں؟

عموماً نہیں۔ اصل متن بھیجیں تاکہ اقتباسات، نام اور حوالے بالکل درست رہیں۔ تشکیل ہٹانے سے کچھ ٹوکن بچتے ہیں، مگر ایسا تبھی کریں جب کام کو ان نشانات کی ضرورت نہ ہو۔

## مزید پڑھیں

-   [عربی RAG: normalisation، chunking اور retrieval جو واقعی کام کرے](https://broadrouter.com/ur/blog/arabic-rag-search/)
-   [عربی بمقابلہ انگریزی میں فی لفظ ٹوکن: عربی مہنگی کیوں پڑتی ہے](https://broadrouter.com/ur/blog/tokens-per-word-arabic-english/)
-   [عربی ASR میں word error rate (WER) کیا ہے، آسان الفاظ میں](https://broadrouter.com/ur/blog/arabic-asr-wer-explained/)
-   [Arabizi اور LLMs: 3 اور 7 جیسے ہندسوں والی Franco-Arabic سنبھالنا](https://broadrouter.com/ur/blog/arabizi-llm-handling/)
-   [عربی کے لیے LLM API کیسے چنیں: کیا کیا ٹیسٹ کریں](https://broadrouter.com/ur/blog/choosing-an-llm-for-arabic/)
-   [LLM سے عربی named entity extraction: JSON، تاریخیں اور جانچ](https://broadrouter.com/ur/blog/arabic-named-entity-extraction-llm/)
-   [LLM سے عربی متن پر اعراب (تشکیل) لگانا: پرامپٹ، جانچ، DER](https://broadrouter.com/ur/blog/arabic-diacritization-llm/)
-   [LLM سے عربی گرامر اور املا کی تصحیح: ایک عملی رہنما](https://broadrouter.com/ur/blog/arabic-grammar-spelling-correction-llm/)
-   [عربی ریکارڈنگز سے میٹنگ منٹس: ایک API پائپ لائن](https://broadrouter.com/ur/blog/arabic-meeting-minutes-from-recordings/)
-   [عربی OCR API کا موازنہ: Google، Azure، Textract، Mistral، LLMs](https://broadrouter.com/ur/blog/arabic-ocr-api-comparison/)
-   [گائیڈ: BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**ذرائع**

-   [Larkey، Ballesteros اور Connell، Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis، SIGIR 2002 (2026-11-15 کو جانچا گیا)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [CAMeL Tools 1.6.0 دستاویزات، camel\_tools.utils.normalize (2026-11-15 کو جانچا گیا)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools source، charsets.py: dediac\_ar میں استعمال ہونے والا AR\_DIAC\_CHARSET (2026-11-15 کو جانچا گیا)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [GitHub پر PyArabic 0.6.15، araby ماڈیول (2026-11-15 کو جانچا گیا)](https://github.com/linuxscout/pyarabic)
-   [Apache Lucene 9.12 ArabicNormalizer دستاویزات (2026-11-15 کو جانچا گیا)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Elasticsearch normalization token filters: arabic\_normalization (2026-11-15 کو جانچا گیا)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15، Unicode Normalization Forms (2026-11-15 کو جانچا گیا)](https://unicode.org/reports/tr15/)
-   [Unicode عربی code chart، U+0600 سے U+06FF (2026-11-15 کو جانچا گیا)](https://www.unicode.org/charts/PDF/U0600.pdf)
