BroadRouter
شروع کریں

عربی لہجوں کی speech recognition: خلیجی، مصری، شامی، مغربی

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

عربی لہجے جدید معیاری عربی سے آوازوں، الفاظ اور املا میں مختلف ہیں، اور بولنے والے انگریزی یا فرانسیسی ملاتے ہیں، اس لیے زیادہ تر رسمی عربی پر تربیت یافتہ ASR ماڈل ان پر کہیں برا اسکور کرتے ہیں۔ فراہم کنندہ کو جانچنے کے لیے اپنے اصل آڈیو سے ہر لہجے کا ٹیسٹ سیٹ بنائیں، املا کا اصول طے کریں، اور ہر لہجے کا WER، CER اور entity درستگی الگ ناپیں۔

speech-to-text عربی لہجوں پر اس لیے لڑکھڑاتا ہے کہ وہ جدید معیاری عربی (MSA) سے آوازوں، الفاظ اور املا میں مختلف ہیں، اور بولنے والے انگریزی یا فرانسیسی ملاتے ہیں۔ کوئی فراہم کنندہ کیسا کرے گا، یہ جاننے کے لیے اپنے اصل آڈیو سے ہر لہجے کا چھوٹا ٹیسٹ سیٹ بنائیں اور ہر لہجے کو الگ اسکور کریں۔

ریاض کا ایک کالر، قاہرہ کا ایک وائس نوٹ اور کاسابلانکا کی ایک سپورٹ کال، تینوں “عربی” ہیں، اور ایک ہی ماڈل پہلی کو اچھی طرح اور تیسری کو بری طرح سنبھال سکتا ہے۔

یہ پوسٹ بتاتی ہے کہ ہر بڑے لہجہ گروپ کو speech recognition کے لیے کیا مشکل بناتا ہے، اور ایسا ٹیسٹ کیسے بنائیں جو دکھائے کہ فراہم کنندہ آپ کے لہجوں پر کیسا کرے گا۔ خریداری کی وسیع چیک لسٹ (قیمت، حدیں، پرائیویسی) کے لیے عربی speech-to-text خریدار گائیڈ دیکھیں۔

عربی لہجے speech recognition کے لیے مشکل کیوں ہیں؟

چار مسئلے ایک کے اوپر ایک جمع ہوتے ہیں:

  1. مختلف آوازیں۔ ایک ہی حرف مختلف علاقوں میں مختلف بولا جاتا ہے، اس لیے acoustic ماڈل کو کئی آوازوں کو ایک املا سے جوڑنا پڑتا ہے۔
  2. مختلف الفاظ۔ روزمرہ کے الفاظ لہجے کے حساب سے بدلتے ہیں۔ زیادہ تر MSA پر تربیت یافتہ ماڈل لہجے کے لفظ کو اس کی رسمی شکل میں “درست” کر سکتا ہے، جو آپ کا reference لفظ بہ لفظ ہو تو غلطی گنی جاتی ہے۔
  3. کوئی معیاری املا نہیں۔ لہجے غیر رسمی طور پر لکھے جاتے ہیں، اس لیے دو انسانی ٹرانسکرائبر بھی متفق نہیں ہوتے۔ تربیتی ڈیٹا بھی غیر متوازن ہے: لہجوں کی کوریج پر 2024 کی ایک تحقیق نوٹ کرتی ہے کہ موجودہ ASR سسٹم “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (ترجمہ: بنیادی طور پر جدید معیاری عربی (MSA) اور چند زیادہ وسائل والے لہجوں کا احاطہ کرتے ہیں) (arXiv 2411.05872)۔
  4. Code-switching۔ بولنے والے جملے کے بیچ انگریزی یا فرانسیسی ملاتے ہیں۔ آٹھ لہجوں والا Casablanca ڈیٹاسیٹ لہجے اور جنس کے ساتھ code-switching کو بھی annotate کرتا ہے۔

Open Universal Arabic ASR Leaderboard پیپر (Interspeech 2025) ٹھیک اسی وجہ سے اوپن سورس ماڈلز کو کئی کثیر لہجہ ٹیسٹ سیٹس پر پرکھتا ہے: عربی کا ایک اسکور پھیلاؤ چھپا دیتا ہے۔

ہر عربی لہجہ speech recognition کو کیسے الجھاتا ہے؟

لہجہ گروپ کہاں ASR کی عام مشکلات
خلیجی سعودی عرب، متحدہ عرب امارات، کویت، قطر، بحرین، عمان انگریزی پروڈکٹ نام، نمبر اور برانڈ کے الفاظ ملے ہوئے؛ قاف اور کاف کا علاقائی تلفظ
مصری مصر جیم سخت g کی طرح؛ قاف اکثر glottal stop؛ میڈیا میں بہت عام، اس لیے ماڈل عموماً اسے زیادہ دیکھتے ہیں
شامی (Levantine) شام، لبنان، اردن، فلسطین شہری قاف glottal stop کی طرح؛ فرانسیسی یا انگریزی ملی ہوئی، خاص طور پر لبنان میں
مغربی (دارجہ) مراکش، الجزائر، تیونس، لیبیا MSA سے سب سے دور؛ چھوٹی حرکات غائب؛ بھاری فرانسیسی code-switching؛ امازیغی سے لیے الفاظ
عراقی عراق الگ ذخیرۂ الفاظ اور تلفظ؛ کم عوامی تربیتی آڈیو

یہ رجحانات ہیں، اصول نہیں۔ ہر گروپ کے اندر شہری اور دیہی بولی مختلف ہے، اور نوجوان زیادہ code-switch کرتے ہیں۔ بات یہ ہے کہ ہر گروپ اپنے طریقے سے ناکام ہوتا ہے، اس لیے ہر گروپ کو الگ اسکور کریں۔

عربی لہجوں کا ٹیسٹ سیٹ کیسے بنائیں؟

1. ہر لہجے کا اصل آڈیو منتخب کریں

اسی چینل سے ہر لہجے کے 30 سے 50 clips لیں جس پر آپ پروڈکشن چلائیں گے: فون کالز، WhatsApp وائس نوٹس، میٹنگ ریکارڈنگز۔ 8 kHz کا فون آڈیو اسٹوڈیو آڈیو سے مختلف برتاؤ کرتا ہے۔ ہر clip پر لہجے کا لیبل لگائیں، اور انگریزی یا فرانسیسی والے clips کو ٹیگ کریں۔

2. پہلے املا کا اصول طے کریں

کسی کے reference لکھنے سے پہلے طے کریں:

  • لفظ بہ لفظ لہجہ (جو کہا گیا وہی لکھیں، لہجے کے املا میں)، یا
  • Normalised (ایک یکساں شکل میں بدلیں)۔

اپنا انتخاب مثالوں کے ساتھ لکھ لیں۔ اگر references لفظ بہ لفظ ہیں اور ماڈل MSA جیسے الفاظ دیتا ہے، تو مطلب درست ہونے پر بھی WER بہت برا دکھے گا۔ کوئی انتخاب غلط نہیں۔ بس اسے آپ کے downstream سسٹم کی ضرورت سے میل کھانا چاہیے۔

3. ہر لہجے کے 10 clips کے references لکھیں

انہیں اسی لہجے کے مقامی بولنے والوں سے ٹرانسکرائب کروائیں۔ code-switching والے clips کے لیے طے کریں کہ انگریزی الفاظ لاطینی رسم الخط میں رہیں گے یا نہیں، اور اسے ہر جگہ لاگو کریں۔

4. دونوں طرف normalise کریں، پھر اسکور کریں

اعراب (diacritics) ہٹائیں، الف کی شکلیں ایک کریں (إ أ آ کو ا) اور آخری یاء (ى کو ي)، رموزِ اوقاف ہٹائیں، اور مشرقی عربی ہندسوں کو مغربی ہندسوں میں بدلیں۔ پھر حساب لگائیں:

میٹرک کیوں
ہر لہجے کا WER معیاری پیمانہ؛ clitics اور prefixes پر سخت
ہر لہجے کا CER املا کے فرق کو زیادہ معاف کرتا ہے
Entity درستگی نمبروں، تاریخوں اور ناموں کا وہ حصہ جو بالکل درست ٹرانسکرائب ہوا
code-switch گروپ کا WER دکھاتا ہے کہ انگریزی یا فرانسیسی الفاظ بچتے ہیں یا نہیں

jiwer پیکیج WER اور CER نکالتا ہے؛ عربی WER کی وضاحت میں دوبارہ استعمال کے قابل normalisation فنکشن ہے اور ایک مثال کہ اس سے اسکور کتنا بدلتا ہے۔

5. ٹرانسکرپٹس پڑھیں

کال سینٹر یا بینکنگ ورک فلو چلے گا یا نہیں، یہ نمبر طے کرتے ہیں۔ ہر لہجے کے 20 ٹرانسکرپٹس پڑھیں اور ہر نمبر، تاریخ اور نام ہاتھ سے جانچیں۔

شائع شدہ عربی WER اعداد و شمار آپ کو کیا بتاتے ہیں؟

عوامی بینچ مارکس سمت دیتے ہیں، وعدہ نہیں۔ BroadNet اپنے ماڈل کیٹلاگ میں BroadNet Transcribe Arabic کے تین WER اعداد شائع کرتا ہے: FLEURS-ar (صاف پڑھی گئی گفتگو) پر 3.8، MASC-ar (ملی جلی حقیقی گفتگو) پر 21.1 اور اپنے لہجہ سیٹ پر 23.4۔ ایک ہی ماڈل میں پڑھی گئی گفتگو اور لہجے والی گفتگو کے درمیان یہ چھ گنا اچھال ہے، اور اسی لیے آپ اپنے لہجوں پر ٹیسٹ کرتے ہیں۔

فراہم کنندگان کا موازنہ کرتے وقت انہیں ایک ہی ٹیسٹ سیٹ پر موازنہ کریں۔ Open Universal Arabic ASR Leaderboard جیسا لیڈر بورڈ اس لیے مفید ہے کہ ہر ماڈل ایک ہی طریقے سے اسکور ہوتا ہے۔ کسی vendor کا اپنے سیٹ پر اپنا عدد دوسرے vendor کے عدد سے قابلِ موازنہ نہیں۔

لہجے والے ٹرانسکرپٹس کون سا LLM پڑھے؟

ٹرانسکرپٹس عموماً کسی LLM کو جاتے ہیں: کال کا خلاصہ بنانے، ٹکٹ route کرنے یا سوال کا جواب دینے کے لیے۔ اس ماڈل کو بھی لہجہ پڑھنا آنا چاہیے۔ ہماری عربی کے لیے LLM چننے کی گائیڈ بتاتی ہے کہ اسے کیسے ٹیسٹ کریں، اور Qwen3.8 27B وہ ماڈل ہے جسے BroadNet نے خلیجی اور مصری لہجوں پر ٹیسٹ کیا۔

BroadNet Inference کہاں فٹ ہوتا ہے

BroadNet Transcribe Arabic لہجوں سمیت عربی کے لیے بنا ہے، اس کی لاگت $0.0042 فی منٹ ($0.25 فی گھنٹہ) ہے، اور BroadNet رپورٹ کرتا ہے کہ یہ Open Universal Arabic ASR Leaderboard پر 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) ہے، اور ان ماڈلز میں #1 جن کے لائسنس API کے ذریعے سرو کرنے کی اجازت دیتے ہیں۔ شور والے آڈیو میں نمبروں، تاریخوں اور ناموں کے لیے BroadNet ایک fine-tuned ورژن درخواست پر دیتا ہے۔ $5 کا ابتدائی کریڈٹ تقریباً 1,190 منٹ کا احاطہ کرتا ہے، جو اوپر کے پورے ٹیسٹ کے لیے کافی ہے؛ speech-to-text لاگت کیلکولیٹر آپ کے پروڈکشن والیوم کو ماہانہ بل میں بدلتا ہے۔ شروع کرنے کے لیے کلید بنائیں۔

BroadNet ہر لہجہ گروپ کے الگ WER اعداد شائع نہیں کرتا۔ ٹھیک اسی لیے آپ کو یہ ٹیسٹ چلانا چاہیے: اس کا لہجہ سیٹ والا عدد ایک نمبر ہے، اور آپ کے گاہک ایک یا دو لہجے بولتے ہیں، سب نہیں۔

عام سوالات

speech recognition کے لیے سب سے مشکل عربی لہجہ کون سا ہے؟

کوئی عالمگیر درجہ بندی نہیں؛ یہ ماڈل کے تربیتی ڈیٹا پر منحصر ہے۔ مراکشی اور الجزائری جیسے مغربی لہجے اکثر مشکل ہوتے ہیں کیونکہ وہ جدید معیاری عربی سے سب سے دور ہیں اور ان میں فرانسیسی ملتی ہے۔ کسی عام درجہ بندی پر انحصار کرنے کے بجائے اپنا لہجہ ٹیسٹ کریں۔

کیا speech-to-text مصری عربی سمجھ سکتا ہے؟

اکثر کم عام لہجوں سے بہتر، کیونکہ مصری میڈیا میں بہت استعمال ہوتی ہے، لیکن رسمی عربی سے کم درستگی کی توقع رکھیں۔ اسے اپنی ریکارڈنگز پر ناپیں۔

عربی کے لیے WER استعمال کروں یا CER؟

دونوں۔ WER پورے الفاظ گنتا ہے، اس لیے ایک غلط prefix یا clitic پورے لفظ کو غلط بنا دیتا ہے۔ CER حروف گنتا ہے اور املا کے فرق کو زیادہ معاف کرتا ہے، جو بغیر معیاری املا والے لہجوں کے لیے اہم ہے۔

عربی ASR فراہم کنندہ کو جانچنے کے لیے کتنے آڈیو clips چاہییں؟

ہر لہجے کے تقریباً 30 سے 50 اصل clips، جن میں ہر لہجے کے کم از کم 10 references کے طور پر ہاتھ سے ٹرانسکرائب ہوں۔ فراہم کنندگان کے درمیان بڑے فرق دیکھنے کے لیے اتنا کافی ہے۔

کیا عربی لہجوں کے لیے language code اہم ہے؟

language=ar بھیجیں۔ زیادہ تر APIs پر لہجے ایک ہی ar کوڈ استعمال کرتے ہیں۔ اس کے بغیر کچھ ماڈل عربی گفتگو کو لاطینی حروف میں ٹرانسلٹریٹ کر کے لوٹاتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں