BroadRouter
شروع کریں

عربی لہجے کی شناخت (Arabic dialect identification)

اپ ڈیٹ

عربی لہجے کی شناخت وہ کام ہے جس میں طے کیا جاتا ہے کہ کوئی متن یا ریکارڈنگ کس عربی شکل میں ہے، جیسے مصری، خلیجی، شامی (لیونٹائن)، مغربی یا جدید معیاری عربی، اور یہ علاقے، ملک یا شہر کی سطح پر ہوتا ہے۔ اسے پیغامات روٹ کرنے، پرامپٹ چننے اور جانچ کے سیٹ بانٹنے میں استعمال کیا جاتا ہے۔

دوسرے نام: عربی لہجے کی شناخت، عربی ڈائلیکٹ ڈیٹیکشن، arabic dialect identification kya hai، dialect detection kya hai، dialect identification، dialect detection، ADI، NADI

صارف کو اس کے لہجے میں جواب دینے سے پہلے آپ کو جاننا ہوگا کہ اس نے کس لہجے میں لکھا ہے۔ یہی لہجے کی شناخت ہے۔

یہ کیسے کام کرتی ہے

تحقیقی برادری اسے NADI shared tasks (Nuanced Arabic Dialect Identification) سے ناپتی ہے۔ NADI 2020 میں 21 عرب ممالک کے 100 صوبوں کی ٹویٹس تھیں، جن میں ایک ملکی سطح کا اور ایک صوبائی سطح کا ذیلی کام تھا۔ NADI 2024 نے لہجہ شناخت کو multi-label کام بنایا، کیونکہ ایک جملہ کئی لہجوں میں درست ہو سکتا ہے، اور “dialectness” کی سطح پر ایک ذیلی کام شامل کیا۔ Subtask 1 کے بہترین سسٹم نے 50.57 F1 اسکور کیا، اور منتظمین لکھتے ہیں کہ لہجہ شناخت اب بھی مشکل ہے۔

MADAR کارپس (Bouamor اور ساتھی، 2018) ایک عام وسیلہ ہے: سفر سے متعلق وہی جملے 25 شہروں کے لہجوں میں ترجمہ کیے گئے ہیں۔ 2,000 جملے تمام 25 میں موجود ہیں؛ مزید 10,000 جملے Doha، Beirut، Cairo، Tunis اور Rabat کے لیے ہیں۔ ایسے متوازی ڈیٹا سے دکھائی دیتا ہے کہ ایک ہی بات ہر جگہ کیسے لکھی جاتی ہے۔

عملی طور پر زیادہ تر پروڈکٹس کو موٹا لیبل چاہیے۔ ایک قابل عمل سیٹ:

لیبل کن کا احاطہ کرتا ہے
msa جدید معیاری عربی
gulf سعودی، اماراتی، کویتی، قطری، بحرینی، عمانی
egyptian مصری
levantine شامی، لبنانی، اردنی، فلسطینی
maghrebi مراکشی، الجزائری، تیونسی، لیبیائی
other_or_unclear عراقی، یمنی، سوڈانی، ملا جلا یا بہت مختصر

اس کے لیے LLM پرامپٹ ایک JSON آبجیکٹ مانگتا ہے: لیبل، اعتماد کی سطح، اور وہ الفاظ جن سے لہجہ پتا چلا۔ مثال کے طور پر پیغام عايز أغير الباقة کا جواب یہ ہوگا:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

اشارے (cues) مانگنے سے غلطیاں جانچنا آسان ہوتا ہے: اگر اشارہ MSA کا لفظ ہو تو لیبل مشکوک ہے۔

یہ کیوں اہم ہے

  • روٹنگ۔ خلیجی صارفین کو خلیجی ایجنٹس کے پاس بھیجیں، یا جوابی پرامپٹ کو صارف کے لہجے میں بدلیں۔
  • جانچ۔ اسپیچ اور چیٹ ٹیسٹ سیٹس کو لہجے کے حساب سے بانٹیں۔ ایک اوسط سب سے کمزور گروپ کو چھپا دیتی ہے، جیسا کہ لہجوں کی اسپیچ ریکگنیشن پوسٹ دکھاتی ہے۔
  • اینالیٹکس۔ کسی ایک لہجے میں سرمایہ لگانے سے پہلے جانیں کہ آپ کے صارفین اصل میں کون سے لہجے لکھتے ہیں۔

ملے جلے پیغامات عام ہیں۔ صارفین ایک ہی سطر میں لہجے، MSA اور انگریزی کے درمیان بدلتے ہیں، جسے code-switching کہتے ہیں؛ زبردستی اندازہ لگوانے کے بجائے “unclear” لیبل رکھیں۔

BroadNet Inference پر

BroadNet کے پاس لہجہ شناخت کا کوئی اینڈپوائنٹ نہیں۔ آپ اسے POST /v1/chat/completions پر بنا سکتے ہیں۔ BroadNet کا API ریفرنس GLM 5.3 اور Qwen3.8 27B کے لیے structured output درج کرتا ہے، جو طے شدہ لیبل فہرست کے لیے موزوں ہے؛ structured output دیکھیں۔ BroadNet بتاتا ہے کہ اس نے Qwen3.8 27B کو آزمایا اور وہ خلیجی اور مصری لہجے سمجھتا ہے۔ BroadNet کسی بھی ماڈل کے لیے لہجہ شناخت کی درستی شائع نہیں کرتا، اس لیے بھروسا کرنے سے پہلے اپنے تقریباً 100 پیغامات ہاتھ سے لیبل کریں اور ماڈل کو ان پر ناپیں۔

عربی ٹیکسٹ کلاسیفکیشن پوسٹ اس طرح کے کام کے لیے پرامپٹ، لیبل فہرستیں اور اسکورنگ بیان کرتی ہے، اور بول چال کی عربی بتاتی ہے کہ لیبلز کا مطلب کیا ہے۔

عام سوالات

عربی لہجے کی شناخت کتنی درست ہوتی ہے؟

یہ لیبل کی باریکی اور متن کی لمبائی پر منحصر ہے۔ NADI 2024 میں multi-label لہجہ شناخت پر بہترین سسٹم نے 50.57 F1 اسکور کیا، اور منتظمین کا نتیجہ ہے کہ یہ کام اب بھی مشکل ہے۔ لمبے پیغامات پر علاقائی لیبل، چھوٹے پیغامات پر ملک یا شہر کے لیبل سے آسان ہیں۔

کیا ایک پیغام میں ایک سے زیادہ لہجے ہو سکتے ہیں؟

ہاں۔ مختصر یا غیر جانبدار جملے کئی لہجوں میں درست ہو سکتے ہیں، اسی لیے NADI 2024 نے لہجہ شناخت کو multi-label کام بنایا۔ "واضح نہیں" یا multi-label جواب کی گنجائش رکھیں۔

کیا مجھے الگ classifier چاہیے؟

شروع میں نہیں۔ طے شدہ لیبل فہرست والا LLM جلدی سیٹ ہو جاتا ہے۔ ہاتھ سے لیبل کیے گئے نمونے پر اسے ناپیں؛ اگر حجم یا درستی کا تقاضا ہو تو تربیت یافتہ classifier پر جائیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں