BroadRouter

عربی اعراب (tashkeel)

اپ ڈیٹ

عربی اعراب، یا tashkeel، حروف کے اوپر یا نیچے لگنے والے چھوٹے نشانات ہیں جو مختصر حرکات، مشدّد حروف اور حرکت کی عدم موجودگی دکھاتے ہیں۔ یہ اختیاری ہیں: خبروں سمیت زیادہ تر عربی متن انہیں چھوڑ دیتا ہے، اس لیے قاری اور سافٹ ویئر سیاق و سباق سے حرکات کا اندازہ لگاتے ہیں۔

دوسرے نام: عربی اعراب، تشکیل، حرکات، زیر زبر پیش، arabic diacritics kya hain، tashkeel kya hai، tashkeel، tashkil، harakat، diacritization، Arabic diacritization، diacritics، vowel marks

وہی تین عربی حروف “اس نے لکھا”، “کتابیں” یا “لکھا گیا” کے معنی دے سکتے ہیں۔ ان میں فرق اعراب سے ہوتا ہے، اور زیادہ تر متن انہیں لکھتا ہی نہیں۔

یہ کیسے کام کرتے ہیں

Unicode Standard ان نشانات کو tashkil کہتا ہے اور لکھتا ہے کہ یہ “may be written as combining marks” (ترجمہ: combining marks کے طور پر لکھے جا سکتے ہیں)، پھر اضافہ کرتا ہے: “In normal writing, however, these marks are omitted.” (ترجمہ: تاہم عام تحریر میں یہ نشانات چھوڑ دیے جاتے ہیں۔) حرکات مختصر حرکات والے ذیلی سیٹ کا نام ہے۔ ہر نشان اپنا الگ combining کیریکٹر ہے جو اس حرف کے بعد آتا ہے جس پر وہ لگتا ہے۔ اہم نشانات U+064B سے U+0652 کی رینج میں ہیں:

کوڈ پوائنٹ نام کام
U+064E FATHA مختصر a (زبر)
U+064F DAMMA مختصر u (پیش)
U+0650 KASRA مختصر i (زیر)
U+064B سے U+064D FATHATAN, DAMMATAN, KASRATAN تنوین (-an، -un، -in اختتام)
U+0651 SHADDA مشدّد حرف
U+0652 SUKUN کوئی حرکت نہیں

بغیر نشان والے لفظ كتب کے ساتھ ایک مثال:

  • كَتَبَ (kataba)، “اس نے لکھا”
  • كُتُب (kutub)، “کتابیں”
  • كُتِبَ (kutiba)، “لکھا گیا”

نشانات کے بغیر تینوں ایک ہی اسٹرنگ ہیں۔ قاری جملے سے معنی چنتا ہے۔ سافٹ ویئر کو بھی یہی کرنا پڑتا ہے، اور یہ diacritizer کا کام ہے۔ Zerrouki اور Balla (2017) نے Tashkeela کارپس بنایا، تقریباً 75.6 ملین الفاظ، زیادہ تر کلاسیکی عربی، کیونکہ مکمل اعراب والا متن کم یاب ہے اور diacritizer کو تربیت کے لیے اس کی ضرورت ہوتی ہے۔ Fadel اور ساتھی (2019) ایسے نیورل diacritization ماڈل بتاتے ہیں جو ایک عوامی بینچ مارک پر پچھلے کام کے برابر یا اس سے بہتر ہیں، اور دکھاتے ہیں کہ اعراب مشینی ترجمے میں مدد کر سکتے ہیں۔

لائبریریاں ان نشانات کو ایک سیٹ مانتی ہیں۔ CAMeL Tools کے AR_DIAC_CHARSET میں U+064B سے U+0652 اور U+0670 (superscript alef، کھڑا زبر) شامل ہیں، اور اس کا dediac_ar فنکشن انہیں ہٹاتا ہے۔

یہ کیوں اہم ہیں

  • سرچ اور میچنگ۔ نشانات کے ساتھ اور بغیر ٹائپ کیا گیا ایک ہی لفظ الگ اسٹرنگ ہے۔ عربی متن کی نارملائزیشن کے حصے کے طور پر انہیں سرچ کی سے ہٹائیں، ورنہ exact میچ ناکام ہوں گے۔
  • ٹوکن۔ ہر نشان tokenizer کے لیے ایک اضافی کیریکٹر ہے۔ مکمل اعراب والا متن سادہ متن سے واضح طور پر زیادہ ٹوکن لیتا ہے؛ ناپے گئے تناسب کے لیے diacritization گائیڈ اور بنیادی پیمانے کے لیے عربی میں فی لفظ ٹوکن دیکھیں۔
  • اسپیچ اور جانچ۔ ٹرانسکرپٹ عموماً بغیر نشانات کے آتے ہیں۔ دونوں متون سے اعراب ہٹانے کے بعد word error rate نکالیں، ورنہ ایک اضافی فتحہ والا درست لفظ بھی غلطی گنا جائے گا۔
  • کب ضرورت ہوتی ہے۔ ٹیکسٹ ٹو اسپیچ، زبان سکھانا، قرآنی اور شعری متن، اور ایسے نام جو حرکات کے بغیر مبہم ہوں۔

BroadNet Inference پر

BroadNet کے پاس کوئی diacritization اینڈپوائنٹ نہیں۔ چیٹ ماڈل tashkeel کو POST /v1/chat/completions کے ذریعے عام متن کی طرح لیتے ہیں، اس لیے آپ Qwen3.8 27B جیسے ماڈل سے نشانات لگانے یا ہٹانے کو کہہ سکتے ہیں۔ محفوظ طریقہ یہ ہے کہ جواب کو کوڈ میں جانچیں: اعراب ہٹائیں اور اپنے ان پٹ سے حرف بہ حرف ملائیں۔ LLM diacritization پوسٹ میں پرامپٹ اور جانچ دونوں ہیں۔

ہٹانے کے لیے ماڈل بالکل استعمال نہ کریں۔ U+064B سے U+0652 پر ایک مختصر regex تیز، مفت اور درست ہے۔ عربی ٹیکسٹ نارملائزر براؤزر میں اس کا اثر دکھاتا ہے۔

عام سوالات

کیا عربی متن کو انڈیکس کرنے سے پہلے اعراب ہٹا دینے چاہئیں؟

کی ورڈ سرچ کے لیے عموماً ہاں، لیکن صرف سرچ کی (key) سے۔ Tashkeela کے مصنفین بتاتے ہیں کہ زیادہ تر سرچ انجن اعراب کو نظرانداز کرتے ہیں۔ دکھانے کے لیے اور LLM کے لیے اصل متن رکھیں۔

اعراب والے عربی متن پر زیادہ ٹوکن کیوں لگتے ہیں؟

ہر نشان ایک الگ Unicode کیریکٹر ہے، اس لیے مکمل اعراب والے لفظ میں tokenizer کو تقسیم کرنے کے لیے زیادہ کیریکٹر ملتے ہیں۔ tashkeel لگانے سے پہلے اور بعد اپنا متن کسی ٹوکن کاؤنٹر سے گنیں۔

کیا LLM قابل اعتماد طریقے سے اعراب لگا سکتا ہے؟

لگا تو سکتا ہے، مگر حروف بھی بدل سکتا ہے۔ جواب سے نشانات ہٹا کر اسے ان پٹ سے ملائیں؛ جس جواب میں کوئی حرف بدلا ہو، اسے رد کر دیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں