speech-to-text عربی لہجوں پر اس لیے لڑکھڑاتا ہے کہ وہ جدید معیاری عربی (MSA) سے آوازوں، الفاظ اور املا میں مختلف ہیں، اور بولنے والے انگریزی یا فرانسیسی ملاتے ہیں۔ کوئی فراہم کنندہ کیسا کرے گا، یہ جاننے کے لیے اپنے اصل آڈیو سے ہر لہجے کا چھوٹا ٹیسٹ سیٹ بنائیں اور ہر لہجے کو الگ اسکور کریں۔
ریاض کا ایک کالر، قاہرہ کا ایک وائس نوٹ اور کاسابلانکا کی ایک سپورٹ کال، تینوں “عربی” ہیں، اور ایک ہی ماڈل پہلی کو اچھی طرح اور تیسری کو بری طرح سنبھال سکتا ہے۔
یہ پوسٹ بتاتی ہے کہ ہر بڑے لہجہ گروپ کو speech recognition کے لیے کیا مشکل بناتا ہے، اور ایسا ٹیسٹ کیسے بنائیں جو دکھائے کہ فراہم کنندہ آپ کے لہجوں پر کیسا کرے گا۔ خریداری کی وسیع چیک لسٹ (قیمت، حدیں، پرائیویسی) کے لیے عربی speech-to-text خریدار گائیڈ دیکھیں۔
عربی لہجے speech recognition کے لیے مشکل کیوں ہیں؟
چار مسئلے ایک کے اوپر ایک جمع ہوتے ہیں:
- مختلف آوازیں۔ ایک ہی حرف مختلف علاقوں میں مختلف بولا جاتا ہے، اس لیے acoustic ماڈل کو کئی آوازوں کو ایک املا سے جوڑنا پڑتا ہے۔
- مختلف الفاظ۔ روزمرہ کے الفاظ لہجے کے حساب سے بدلتے ہیں۔ زیادہ تر MSA پر تربیت یافتہ ماڈل لہجے کے لفظ کو اس کی رسمی شکل میں “درست” کر سکتا ہے، جو آپ کا reference لفظ بہ لفظ ہو تو غلطی گنی جاتی ہے۔
- کوئی معیاری املا نہیں۔ لہجے غیر رسمی طور پر لکھے جاتے ہیں، اس لیے دو انسانی ٹرانسکرائبر بھی متفق نہیں ہوتے۔ تربیتی ڈیٹا بھی غیر متوازن ہے: لہجوں کی کوریج پر 2024 کی ایک تحقیق نوٹ کرتی ہے کہ موجودہ ASR سسٹم “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (ترجمہ: بنیادی طور پر جدید معیاری عربی (MSA) اور چند زیادہ وسائل والے لہجوں کا احاطہ کرتے ہیں) (arXiv 2411.05872)۔
- Code-switching۔ بولنے والے جملے کے بیچ انگریزی یا فرانسیسی ملاتے ہیں۔ آٹھ لہجوں والا Casablanca ڈیٹاسیٹ لہجے اور جنس کے ساتھ code-switching کو بھی annotate کرتا ہے۔
Open Universal Arabic ASR Leaderboard پیپر (Interspeech 2025) ٹھیک اسی وجہ سے اوپن سورس ماڈلز کو کئی کثیر لہجہ ٹیسٹ سیٹس پر پرکھتا ہے: عربی کا ایک اسکور پھیلاؤ چھپا دیتا ہے۔
ہر عربی لہجہ speech recognition کو کیسے الجھاتا ہے؟
| لہجہ گروپ | کہاں | ASR کی عام مشکلات |
|---|---|---|
| خلیجی | سعودی عرب، متحدہ عرب امارات، کویت، قطر، بحرین، عمان | انگریزی پروڈکٹ نام، نمبر اور برانڈ کے الفاظ ملے ہوئے؛ قاف اور کاف کا علاقائی تلفظ |
| مصری | مصر | جیم سخت g کی طرح؛ قاف اکثر glottal stop؛ میڈیا میں بہت عام، اس لیے ماڈل عموماً اسے زیادہ دیکھتے ہیں |
| شامی (Levantine) | شام، لبنان، اردن، فلسطین | شہری قاف glottal stop کی طرح؛ فرانسیسی یا انگریزی ملی ہوئی، خاص طور پر لبنان میں |
| مغربی (دارجہ) | مراکش، الجزائر، تیونس، لیبیا | MSA سے سب سے دور؛ چھوٹی حرکات غائب؛ بھاری فرانسیسی code-switching؛ امازیغی سے لیے الفاظ |
| عراقی | عراق | الگ ذخیرۂ الفاظ اور تلفظ؛ کم عوامی تربیتی آڈیو |
یہ رجحانات ہیں، اصول نہیں۔ ہر گروپ کے اندر شہری اور دیہی بولی مختلف ہے، اور نوجوان زیادہ code-switch کرتے ہیں۔ بات یہ ہے کہ ہر گروپ اپنے طریقے سے ناکام ہوتا ہے، اس لیے ہر گروپ کو الگ اسکور کریں۔
عربی لہجوں کا ٹیسٹ سیٹ کیسے بنائیں؟
1. ہر لہجے کا اصل آڈیو منتخب کریں
اسی چینل سے ہر لہجے کے 30 سے 50 clips لیں جس پر آپ پروڈکشن چلائیں گے: فون کالز، WhatsApp وائس نوٹس، میٹنگ ریکارڈنگز۔ 8 kHz کا فون آڈیو اسٹوڈیو آڈیو سے مختلف برتاؤ کرتا ہے۔ ہر clip پر لہجے کا لیبل لگائیں، اور انگریزی یا فرانسیسی والے clips کو ٹیگ کریں۔
2. پہلے املا کا اصول طے کریں
کسی کے reference لکھنے سے پہلے طے کریں:
- لفظ بہ لفظ لہجہ (جو کہا گیا وہی لکھیں، لہجے کے املا میں)، یا
- Normalised (ایک یکساں شکل میں بدلیں)۔
اپنا انتخاب مثالوں کے ساتھ لکھ لیں۔ اگر references لفظ بہ لفظ ہیں اور ماڈل MSA جیسے الفاظ دیتا ہے، تو مطلب درست ہونے پر بھی WER بہت برا دکھے گا۔ کوئی انتخاب غلط نہیں۔ بس اسے آپ کے downstream سسٹم کی ضرورت سے میل کھانا چاہیے۔
3. ہر لہجے کے 10 clips کے references لکھیں
انہیں اسی لہجے کے مقامی بولنے والوں سے ٹرانسکرائب کروائیں۔ code-switching والے clips کے لیے طے کریں کہ انگریزی الفاظ لاطینی رسم الخط میں رہیں گے یا نہیں، اور اسے ہر جگہ لاگو کریں۔
4. دونوں طرف normalise کریں، پھر اسکور کریں
اعراب (diacritics) ہٹائیں، الف کی شکلیں ایک کریں (إ أ آ کو ا) اور آخری یاء (ى کو ي)، رموزِ اوقاف ہٹائیں، اور مشرقی عربی ہندسوں کو مغربی ہندسوں میں بدلیں۔ پھر حساب لگائیں:
| میٹرک | کیوں |
|---|---|
| ہر لہجے کا WER | معیاری پیمانہ؛ clitics اور prefixes پر سخت |
| ہر لہجے کا CER | املا کے فرق کو زیادہ معاف کرتا ہے |
| Entity درستگی | نمبروں، تاریخوں اور ناموں کا وہ حصہ جو بالکل درست ٹرانسکرائب ہوا |
| code-switch گروپ کا WER | دکھاتا ہے کہ انگریزی یا فرانسیسی الفاظ بچتے ہیں یا نہیں |
jiwer پیکیج WER اور CER نکالتا ہے؛ عربی WER کی وضاحت میں دوبارہ استعمال کے قابل normalisation فنکشن ہے اور ایک مثال کہ اس سے اسکور کتنا بدلتا ہے۔
5. ٹرانسکرپٹس پڑھیں
کال سینٹر یا بینکنگ ورک فلو چلے گا یا نہیں، یہ نمبر طے کرتے ہیں۔ ہر لہجے کے 20 ٹرانسکرپٹس پڑھیں اور ہر نمبر، تاریخ اور نام ہاتھ سے جانچیں۔
شائع شدہ عربی WER اعداد و شمار آپ کو کیا بتاتے ہیں؟
عوامی بینچ مارکس سمت دیتے ہیں، وعدہ نہیں۔ BroadNet اپنے ماڈل کیٹلاگ میں BroadNet Transcribe Arabic کے تین WER اعداد شائع کرتا ہے: FLEURS-ar (صاف پڑھی گئی گفتگو) پر 3.8، MASC-ar (ملی جلی حقیقی گفتگو) پر 21.1 اور اپنے لہجہ سیٹ پر 23.4۔ ایک ہی ماڈل میں پڑھی گئی گفتگو اور لہجے والی گفتگو کے درمیان یہ چھ گنا اچھال ہے، اور اسی لیے آپ اپنے لہجوں پر ٹیسٹ کرتے ہیں۔
فراہم کنندگان کا موازنہ کرتے وقت انہیں ایک ہی ٹیسٹ سیٹ پر موازنہ کریں۔ Open Universal Arabic ASR Leaderboard جیسا لیڈر بورڈ اس لیے مفید ہے کہ ہر ماڈل ایک ہی طریقے سے اسکور ہوتا ہے۔ کسی vendor کا اپنے سیٹ پر اپنا عدد دوسرے vendor کے عدد سے قابلِ موازنہ نہیں۔
لہجے والے ٹرانسکرپٹس کون سا LLM پڑھے؟
ٹرانسکرپٹس عموماً کسی LLM کو جاتے ہیں: کال کا خلاصہ بنانے، ٹکٹ route کرنے یا سوال کا جواب دینے کے لیے۔ اس ماڈل کو بھی لہجہ پڑھنا آنا چاہیے۔ ہماری عربی کے لیے LLM چننے کی گائیڈ بتاتی ہے کہ اسے کیسے ٹیسٹ کریں، اور Qwen3.8 27B وہ ماڈل ہے جسے BroadNet نے خلیجی اور مصری لہجوں پر ٹیسٹ کیا۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet Transcribe Arabic لہجوں سمیت عربی کے لیے بنا ہے، اس کی لاگت $0.0042 فی منٹ ($0.25 فی گھنٹہ) ہے، اور BroadNet رپورٹ کرتا ہے کہ یہ Open Universal Arabic ASR Leaderboard پر 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) ہے، اور ان ماڈلز میں #1 جن کے لائسنس API کے ذریعے سرو کرنے کی اجازت دیتے ہیں۔ شور والے آڈیو میں نمبروں، تاریخوں اور ناموں کے لیے BroadNet ایک fine-tuned ورژن درخواست پر دیتا ہے۔ $5 کا ابتدائی کریڈٹ تقریباً 1,190 منٹ کا احاطہ کرتا ہے، جو اوپر کے پورے ٹیسٹ کے لیے کافی ہے؛ speech-to-text لاگت کیلکولیٹر آپ کے پروڈکشن والیوم کو ماہانہ بل میں بدلتا ہے۔ شروع کرنے کے لیے کلید بنائیں۔
BroadNet ہر لہجہ گروپ کے الگ WER اعداد شائع نہیں کرتا۔ ٹھیک اسی لیے آپ کو یہ ٹیسٹ چلانا چاہیے: اس کا لہجہ سیٹ والا عدد ایک نمبر ہے، اور آپ کے گاہک ایک یا دو لہجے بولتے ہیں، سب نہیں۔
