عربی میں ایک ہی لفظ کئی طرح لکھا جا سکتا ہے۔ صارف احمد ٹائپ کرتا ہے؛ دستاویز میں أَحْمَد لکھا ہے۔ جو سرچ index حروف کو ہوبہو ملاتا ہے، وہ یہ میچ چوک جاتا ہے، اور RAG پائپ لائن کا keyword والا آدھا حصہ بھی۔ Normalization موازنے سے پہلے شکلوں کو ایک شکل میں بدل کر اسے ٹھیک کرتی ہے۔ لاپروائی سے کی جائے تو یہ مختلف معنی والے الفاظ کو بھی ملا دیتی ہے۔ یہ پوسٹ اصول بہ اصول چلتی ہے: ہر اصول کیا کرتا ہے، کب لاگو کریں، کیا توڑتا ہے، اور اہم لائبریریاں کیسے مختلف ہیں۔ آخر میں ٹیسٹ شدہ Python ہے۔
پوری عربی RAG پائپ لائن (chunking، hybrid سرچ، حوالوں والے جوابات) کے لیے دیکھیں کام کرنے والا عربی RAG۔ یہ پوسٹ normalization والے مرحلے میں زیادہ گہرائی تک جاتی ہے۔
کیا normalization واقعی retrieval میں مدد دیتی ہے؟
ہاں، keyword سرچ کے لیے، اور ثبوت پرانا مگر واضح ہے۔ Larkey، Ballesteros اور Connell (SIGIR 2002) نے TREC-2001 کے خبری ذخیرے پر عربی retrieval ٹیسٹ کیا۔ Stemming سے پہلے انہوں نے corpus اور queries کو normalize کیا: اعراب اور رموزِ اوقاف ہٹائے، الف کی شکلیں یکساں کیں، اور لفظ کے آخر کے ى اور ة بدلے۔ ان کے monolingual نتائج، بغیر توسیع والی queries کے ساتھ:
| Processing | Average precision | خام کے مقابلے میں تبدیلی (گول کیے گئے اعداد سے) |
|---|---|---|
| خام متن | .194 | — |
| Normalized | .238 | +22.7% |
| Normalized + light stemming (light8) | .376 | +93.8% |
دو احتیاطیں۔ یہ خبروں پر 2002 کا keyword retrieval ہے، embedding سرچ نہیں۔ اور سب سے بڑا فائدہ light stemming (و اور ال جیسے prefixes اور عام suffixes ہٹانا) سے آیا، جو normalization سے الگ مرحلہ ہے۔ Lucene کا ArabicAnalyzer اور Elasticsearch کا arabic analyzer دونوں لاگو کرتے ہیں: پہلے normalizer، پھر light stemmer۔
کیا normalize کریں، اور ہر اصول کی کیا قیمت ہے؟
| اصول | مثال | سرچ index | خطرہ |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | ہاں، ہمیشہ پہلے | دوسرے رسم الخط کے compatibility حروف بھی بدلتا ہے |
| غیر مرئی نشانات ہٹائیں | zero-width joiners، RLM/LRM، BOM | ہاں | عربی کے لیے کوئی نہیں؛ فارسی میں ZWNJ اہم ہے |
| تشکیل ہٹائیں | أَحْمَدُ → أحمد | ہاں | صرف حرکات سے پہچانے جانے والے الفاظ مل جاتے ہیں |
| Tatweel (ـ) ہٹائیں | الـــمدينة → المدينة | ہاں | کوئی نہیں |
| الف یکساں کریں | أ إ آ ٱ → ا | ہاں | کچھ جوڑے مل جاتے ہیں: سأل (پوچھا) اور سال (بہا) |
| Alef maksura | ى → ي | عموماً | على (پر) اور علي (علی) مل جاتے ہیں |
| Ta marbuta | ة → ه | عموماً | كتابة (تحریر) اور كتابه (اس کی کتاب) مل جاتے ہیں |
| ہمزہ کی کرسیاں | ؤ ئ → ء | اختیاری | مسؤول اور مسئول ملتے ہیں (اچھا) مگر کچھ الگ الفاظ بھی |
| فارسی حروف | ی → ي, ک → ك | ہاں، اگر صارفین کے پاس فارسی کی بورڈ ہیں | عربی متن کے لیے کوئی نہیں |
| ہندسے | ٢٠٢٦ اور ۲۰۲۶ → 2026 | ہاں | کوئی نہیں؛ دکھانے کے لیے اصل رکھیں |
پہلا کالم index key اور query کے لیے ہے۔ جو متن آپ محفوظ کرتے، دکھاتے اور ماڈل کو دیتے ہیں، وہ جیسا لکھا ہے ویسا ہی رہتا ہے۔
Unicode normalization پہلے کیوں آنی چاہیے؟
ایک ہی نظر آنے والا حرف مختلف طریقوں سے محفوظ ہو سکتا ہے۔ أ ایک code point (U+0623) ہو سکتا ہے یا سادہ الف اور اس کے بعد combining ہمزہ (U+0627 U+0654)۔ پرانی PDFs اور کچھ کی بورڈز عربی presentation forms (U+FB50 سے U+FEFF) بناتے ہیں، جیسے ایک حرف والا لام الف ﻻ۔ Unicode normalization میں NFC، ہمزہ کو الف پر جوڑتا ہے، اور NFKC، presentation forms اور ligatures کو بھی کھولتا ہے۔ Python میں unicodedata.normalize("NFKC", "ﻻ") لا لوٹاتا ہے، اور ﷲ الله بن جاتا ہے۔
اسے سب سے پہلے چلائیں۔ ورنہ أ بدلنے والا regex ٹوٹی ہوئی شکل کو چوک جاتا ہے۔ ایک دوسرا جال بھی ہے: CAMeL Tools کا dediac_ar اپنے AR_DIAC_CHARSET (U+064B سے U+0652 اور U+0670) کے حروف ہٹاتا ہے۔ اس set میں combining ہمزہ اور مدہ کے نشانات (U+0653 سے U+0655) شامل نہیں، اس لیے ٹوٹے ہوئے متن پر وہ اعراب ہٹانے کے بعد بھی بچ جاتے ہیں۔ NFKC انہیں پہلے جوڑ دیتا ہے۔
NFKC ایک compatibility mapping ہے۔ یہ عربی کے باہر کے حروف بھی بدلتا ہے، جیسے full-width لاطینی حروف۔ سرچ key میں عموماً یہی چاہیے، اور یہ اصل کو اس کے ساتھ رکھنے کی ایک اور وجہ ہے۔
کیا normalize نہیں کرنا چاہیے؟
- وہ متن جو آپ دکھاتے، حوالہ دیتے یا نقل کرتے ہیں۔ Normalized عربی غلط املا والی لگتی ہے (المدينه)۔ اصل کو key کے ساتھ محفوظ کریں۔
- جو آپ LLM کو بھیجتے ہیں۔ ماڈلز ہمزہ اور تشکیل ٹھیک پڑھ لیتے ہیں، اور ہوبہو متن نام اور اقتباسات درست رکھتا ہے۔ تشکیل ہٹانے سے کچھ ٹوکن بچتے ہیں؛ درستگی کے بدلے یہ سودا کرنے سے پہلے عربی ٹوکن کاؤنٹر سے دیکھیں کہ کتنے۔
- ایسا متن جہاں نشانات معنی رکھتے ہیں: قرآن، حدیث، شاعری، بچوں کی کتابیں، تلفظ اور اعراب لگانے والے کام (دیکھیں LLM سے اعراب لگانا)۔
- املا یا گرامر کی تصحیح: پہلے normalize کرنے سے وہی ہمزہ اور taa marbuta کی غلطیاں مٹ جاتی ہیں جنہیں آپ درست کرنا چاہتے ہیں؛ دیکھیں LLM سے عربی گرامر اور املا کی تصحیح۔
- Identifiers۔ پروڈکٹ کوڈ، ای میلز، URLs اور لاطینی متن عربی اصولوں سے نہیں گزرنے چاہییں۔ Normalization صرف عربی رسم الخط والے فیلڈز پر، یا صرف عربی ٹوکنز پر لاگو کریں۔
- ایسے فیلڈز جنہیں لوگ ہوبہو تلاش کرتے ہیں۔ قانونی ناموں یا ID جیسے فیلڈز کے لیے ایک خام کاپی بھی index کریں، تاکہ عین میچ پھر بھی سب سے اوپر آ سکے۔
CAMeL Tools، PyArabic اور Lucene میں کیا فرق ہے؟
یہ ایک جیسے اصول نافذ نہیں کرتے، اور انہیں ملانے سے ایسا index اور queries بنتی ہیں جو کبھی میچ نہیں ہوتیں۔ ہم نے ہر لائبریری کی دستاویزات اور source پڑھا، اور PyArabic 0.6.15 چلایا:
| Function | اصل میں کیا کرتا ہے |
|---|---|
CAMeL normalize_unicode |
NFKC (یا compatibility=False کے ساتھ NFC)؛ ﷼ کو ريال اور ﷽ کو اس کے پورے جملے میں بھی پھیلاتا ہے |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
U+064B سے U+0652 اور U+0670 ہٹاتا ہے؛ tatweel چھوڑ دیتا ہے |
PyArabic strip_tashkeel |
شدہ سمیت تمام harakat ہٹاتا ہے |
PyArabic strip_tatweel |
ـ ہٹاتا ہے |
PyArabic normalize_alef |
الف کی ہر شکل اور ى → ا، اس لیے إلى بن جاتا ہے الا |
PyArabic normalize_hamza |
ڈیفالٹ طریقہ ہمزہ کی ہر شکل کو ء میں بدلتا ہے، أ سمیت، اس لیے أحمد بن جاتا ہے ءحمد |
Lucene ArabicNormalizer |
الف پر ہمزہ والی شکلیں → ا، ة → ه، ى → ي، harakat اور tatweel ہٹاتا ہے |
PyArabic والی سطریں لوگوں کو حیران کرتی ہیں۔ اس کے normalize_alef کا docstring کہتا ہے کہ alef maksura استثنا ہے، مگر 0.6.15 میں ALEFAT set میں ى شامل ہے، اور function اسے ا میں بدل دیتا ہے۔ اس کا normalize_hamza ہمزہ سے بے پروا میچنگ کے لیے بنا ہے، عام سرچ کے لیے نہیں۔ ترتیب بھی اہم ہے: پہلے الف کی normalization چلائیں، تو normalize_hamza صرف ؤ، ئ اور ء کو چھوتا ہے، اس لیے مسؤول اور مسئول دونوں مسءول بن جاتے ہیں۔ اس کا tasheel طریقہ اس کی بجائے مسوول اور مسيول دیتا ہے، جو آپس میں میچ نہیں ہوتے۔
Elasticsearch کا arabic_normalization filter، Lucene normalizer استعمال کرتا ہے، اس لیے جو Python پائپ لائن کسی Elasticsearch index سے میچ ہونا چاہتی ہے، اسے Lucene کے اصول ہوبہو اپنانے چاہییں۔ یعنی ى → ي، ى → ا نہیں۔
ٹیسٹ شدہ normalizer کیسا دکھتا ہے؟
یہ function، Lucene کے فیصلوں کی پیروی کرتا ہے، Unicode، ہندسوں اور فارسی حروف کو سنبھالنا شامل کرتا ہے، اور خطرے والے اصولوں کو آن آف کرنے کے قابل بناتا ہے۔ یہ صرف standard library استعمال کرتا ہے۔
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
ہماری ٹیسٹ strings پر اس نے یہ لوٹایا:
| ان پٹ | آؤٹ پٹ | نوٹ |
|---|---|---|
| أَحْمَدُ | احمد | تشکیل اور ہمزہ ہٹ گئے |
| الـــمدينة | المدينه | Tatweel اور ta marbuta |
| إلى | الي | الف اور alef maksura |
| ا + U+0654 + مل | امل | ٹوٹا ہمزہ جڑا، پھر یکساں کیا گیا |
| ﻻبد | لابد | Presentation form کھولا گیا |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | عربی-ہندی اور فارسی ہندسے |
| مسؤول / مسئول | hamza_seats=True کے ساتھ دونوں مسءول |
ڈیفالٹ میں بغیر تبدیلی |
| فارسی | فارسي | فارسی ی |
اسے دو جگہ استعمال کریں: جب آپ index key بناتے ہیں اور جب آپ query پڑھتے ہیں۔ original اور normalize(original) ساتھ ساتھ محفوظ کریں، دوسرے پر سرچ کریں اور پہلا لوٹائیں۔ مفت عربی متن normalizer میں آپ متن پیسٹ کر کے اپنی سیٹنگز منتخب کرنے سے پہلے ہر اصول کا اثر دیکھ سکتے ہیں۔
Normalization، embeddings اور RAG میں کیسے فِٹ ہوتی ہے؟
RAG پائپ لائن میں عموماً دو retrievers ہوتے ہیں: keyword سرچ (BM25) اور embeddings۔ Normalization واضح طور پر keyword والے حصے کی مدد کرتی ہے۔ Embedding والے حصے پر اوپر والا ثبوت لاگو نہیں ہوتا: embedding ماڈلز خام متن پر trained ہوتے ہیں، اور بہت سے پہلے ہی احمد اور أحمد کو قریب قریب رکھتے ہیں۔ Embedding سے پہلے normalize کرنا مدد دے سکتا ہے، کچھ نہ کرے، یا نقصان دے۔ معلوم جوابات والی 50 سے 100 اصل queries بنائیں، انہیں خام اور normalized ان پٹ کے ساتھ چلائیں، اور جو زیادہ recall دے وہ رکھیں۔ جو بھی منتخب کریں، اسے دستاویزات اور queries پر یکساں لاگو کریں۔
Normalization ٹوکنز کی تعداد بھی تھوڑی کم کرتی ہے، کیونکہ اعراب اور tatweel، tokenizer کے لیے اضافی حروف ہیں۔ ناپے گئے تناسب tokenizer efficiency dataset اور عربی میں فی لفظ ٹوکن میں ہیں۔ Speech recognition کو منصفانہ اسکور کرنے کے لیے بھی یہی normalization استعمال ہوتی ہے؛ دیکھیں عربی WER کی وضاحت۔
Arabizi (لاطینی حروف میں عربی) کو بالکل مختلف طریقہ چاہیے: LLMs، Arabizi کو کیسے سنبھالتے ہیں۔
BroadNet Inference کہاں فِٹ ہوتا ہے
Normalization آپ کے اپنے کوڈ میں چلتی ہے، اس لیے اس کے لیے کوئی API نہیں چاہیے۔ BroadNet Inference، retrieval کے بعد آتا ہے۔ یہ embeddings نہیں بیچتا، اس لیے اپنی پسند کا retriever اور embeddings فراہم کنندہ جواب والے مرحلے کے لیے BroadNet چیٹ ماڈل کے ساتھ جوڑیں۔ GLM 5.3 اور DeepSeek V4.1 Flash، 1,048,576 ٹوکن کا کانٹیکسٹ لیتے ہیں، اس لیے آپ بہت سے نکالے گئے اقتباسات ان کی اصل، بغیر normalize کی عربی میں بھیج سکتے ہیں۔ عربی معیار پر ماڈل منتخب کرنے کے لیے دیکھیں عربی کے لیے LLM کا انتخاب۔ اگر آپ کو صرف keyword سرچ چاہیے تو شاید Elasticsearch کا بلٹ اِن arabic analyzer ہی کافی ہو۔
