BroadRouter

अरबी बोलियाँ (dialectal Arabic)

अपडेट किया गया

अरबी बोलियाँ किसी क्षेत्र या शहर में रोज़ बोली जाने वाली अरबी हैं, जैसे मिस्री, खाड़ी, लेवेंटाइन या मग़रिबी अरबी। ये आधुनिक मानक अरबी से आवाज़ों, शब्दों और व्याकरण में अलग हैं, इनकी कोई मानक वर्तनी नहीं, और ऑनलाइन इन्हें तेज़ी से लिखा जा रहा है, जिससे लैंग्वेज मॉडल के लिए ये मुश्किल हैं।

अन्य नाम: अरबी बोलियाँ, अरबी बोली, बोलचाल की अरबी, खाड़ी अरबी, मिस्री अरबी, arabic dialects kya hain, dialectal Arabic, Arabic dialects, Arabic dialect, colloquial Arabic, Gulf Arabic, Egyptian Arabic, Levantine Arabic, Maghrebi Arabic, Khaleeji

कोई मॉडल अरबी बेंचमार्क पर अच्छा स्कोर कर सकता है और फिर भी रियाद के वॉइस नोट या कैसाब्लांका के चैट मैसेज पर अटक सकता है। ये बोलियाँ हैं, और इनका टेस्ट आधुनिक मानक अरबी से अलग है।

यह कैसे काम करती हैं

MADAR कॉर्पस बनाने वाले Bouamor और साथी (2018) अरबी को “a family of varieties” (अनुवाद: रूपों का एक परिवार) बताते हैं। MSA “from Morocco to Oman” (अनुवाद: मोरक्को से ओमान तक) संस्कृति, मीडिया और शिक्षा की साझा भाषा है, लेकिन यह किसी की मातृभाषा नहीं। बोलियों को आम तौर पर क्षेत्र के हिसाब से मिस्री, उत्तर अफ़्रीकी, लेवेंटाइन, खाड़ी और यमनी में, या उप-क्षेत्र के हिसाब से ट्यूनीशियाई, लेबनानी, कुवैती आदि में बाँटा जाता है। ये MSA से आवाज़ों, शब्दावली और रूप-रचना में अलग हैं, और कुछ कम हद तक एक शहर से दूसरे शहर में भी।

सॉफ़्टवेयर के लिए तीन अंतर सबसे ज़्यादा मायने रखते हैं:

  • आवाज़ें. MADAR का उदाहरण क़ाफ़ (ق) अक्षर है। ट्यूनीशियाई अरबी में यह /q/ ही रहता है, MSA के क़रीब; मिस्री और लेवेंटाइन अरबी में यह ग्लॉटल स्टॉप बन जाता है; खाड़ी अरबी में /g/। स्पीच मॉडल को तीनों को एक ही लिखे शब्द पर वापस लाना होता है।
  • शब्द. रोज़मर्रा के शब्द अलग हैं। “मैं चाहता हूँ” MSA में أريد है, मिस्री में عايز, लेवेंटाइन में بدي, खाड़ी अरबी में أبي या أبغى और मोरक्कन अरबी में بغيت।
  • वर्तनी. MADAR बताता है कि MSA की मानक वर्तनी है, बोलियों की नहीं। लोग आवाज़ के हिसाब से या शब्द की जड़ के हिसाब से लिखते हैं, और कभी-कभी लैटिन अक्षरों में, जिसे Arabizi कहते हैं। बोलने वाले बीच में अंग्रेज़ी या फ़्रेंच भी मिलाते हैं, जो कोड-स्विचिंग है।

बोलियाँ अब ज़्यादा लिखी भी जा रही हैं। MADAR इन्हें ऑनलाइन अनौपचारिक बातचीत की उभरती हुई मुख्य लिखित भाषा कहता है। NADI 2020 ने 21 अरब देशों के 100 प्रांतों के ट्वीट से एक साझा टास्क बनाया।

यह क्यों मायने रखती हैं

  • चैट और सपोर्ट बॉट. यूज़र वैसे ही लिखते हैं जैसे बोलते हैं। MSA पर ट्रेन हुए इंटेंट नियम, कीवर्ड सर्च और सेंटिमेंट मॉडल बोली के शब्द नहीं पकड़ते। देखें LLM के साथ खाड़ी और मिस्री बोलियाँ।
  • स्पीच-टू-टेक्स्ट. उसी मॉडल पर बोली वाला ऑडियो पढ़ी गई MSA से कहीं ख़राब स्कोर करता है। हर बोली के लिए टेस्ट सेट बनाएँ, जैसा बोली स्पीच रिकग्निशन पोस्ट समझाती है।
  • रूटिंग. अगर जवाब, रिव्यूअर या प्रॉम्प्ट क्षेत्र के हिसाब से बदलते हैं, तो पहले अरबी बोली की पहचान से बोली का लेबल लगाएँ।

BroadNet Inference पर

BroadNet खाड़ी, मिस्री, लेवेंटाइन, मग़रिबी और आधुनिक मानक अरबी के लिए BroadNet Transcribe Arabic बताता है। BroadNet FLEURS-ar की पढ़ी गई स्पीच पर 3.8 और अपने खाड़ी, मिस्री और लेवेंटाइन बोली सेट पर 23.4 का वर्ड एरर रेट रिपोर्ट करता है, दोनों BroadNet के अपने माप हैं। यह अंतर बोली का असर है। सबके लिए language=ar भेजें; BroadNet के डॉक्स चेतावनी देते हैं कि वरना अरबी लैटिन अक्षरों में लिप्यंतरित होकर लौट सकती है।

टेक्स्ट के लिए BroadNet बताता है कि उसने Qwen3.8 27B को अरबी में टेस्ट किया और खाड़ी व मिस्री बोलियाँ समझी गईं। BroadNet लेवेंटाइन या मग़रिबी टेक्स्ट का कोई नतीजा प्रकाशित नहीं करता, इसलिए उन्हें अपने मैसेज से टेस्ट करें। अरबी LLM गाइड मॉडल की तुलना करती है, और अरबी स्पीच-टू-टेक्स्ट गाइड में चलने वाला कोड है।

आम ग़लतियाँ

  • सिर्फ़ MSA की ख़बरों वाले टेक्स्ट पर टेस्ट करना, फिर बोली में लिखने वाले यूज़र तक प्रोडक्ट भेज देना।
  • सभी बोलियों का WER औसत कर देना, जिससे सबसे कमज़ोर बोली छिप जाती है।
  • यूज़र को दिखाए जाने वाले टेक्स्ट में बोली की वर्तनी को MSA में बदल देना।

अक्सर पूछे जाने वाले सवाल

बोली वाले ऑडियो के लिए कौन-सा भाषा कोड भेजूँ?

ar भेजें। BroadNet के डॉक्स अरबी ऑडियो पर language=ar माँगते हैं, और BroadNet खाड़ी, मिस्री, लेवेंटाइन, मग़रिबी और आधुनिक मानक अरबी के लिए एक ही मॉडल, Transcribe Arabic, बताता है।

मॉडल को बोली में जवाब देना चाहिए या MSA में?

हर प्रोडक्ट के लिए तय करें और सिस्टम प्रॉम्प्ट में साफ़ लिखें। कई असिस्टेंट बोली पढ़ते हैं और सादी MSA में या यूज़र की बोली में जवाब देते हैं; टेस्ट करें कि आपके यूज़र क्या पसंद करते हैं।

अरबी की कितनी बोलियाँ हैं?

कोई तय गिनती नहीं है। बोलियों को क्षेत्र के हिसाब से (मिस्री, उत्तर अफ़्रीकी, लेवेंटाइन, खाड़ी, यमनी) या उप-क्षेत्र के हिसाब से समूहों में रखा जाता है। अकेला MADAR 25 शहरों की बोलियाँ कवर करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें