जब लोग कहते हैं कि कोई AI मॉडल “अरबी बोलता है”, तो आम तौर पर उनका मतलब होता है कि वह Modern Standard Arabic सँभाल लेता है। बोलियाँ एक अलग इम्तिहान हैं।
यह कैसे काम करता है
अरबी कई रूपों का एक परिवार है। MADAR पेपर (Bouamor और साथी, 2018) इसे साफ़ कहता है: MSA “the shared language of culture, media, and education from Morocco to Oman” (अनुवाद: मोरक्को से ओमान तक संस्कृति, मीडिया और शिक्षा की साझा भाषा) है, फिर भी यह “is not the native language of any speaker of Arabic” (अनुवाद: किसी भी अरबी भाषी की मातृभाषा नहीं है)। बोलियों को क्षेत्र के हिसाब से मिस्री, उत्तरी अफ़्रीकी, लेवेंटाइन, खाड़ी और यमनी में बाँटा जाता है, और उप-क्षेत्र के हिसाब से ट्यूनीशियाई, लेबनानी, कुवैती, क़तरी वग़ैरह में। MADAR ख़ुद MSA के साथ 25 शहरों की बोलियाँ कवर करता है।
व्यवहार में दोनों आपस में मिल जाती हैं। बिना स्क्रिप्ट वाली जगहों पर, जहाँ MSA की उम्मीद होती है, जैसे TV टॉक शो, बोलने वाले MSA और अपनी बोली के बीच बार-बार आते-जाते हैं। यही code-switching है, और 2014 के code-switching shared task ने पाया कि शब्द के स्तर पर MSA और बोली को अलग करना सबसे कठिन जोड़ी थी, स्पैनिश-अंग्रेज़ी या नेपाली-अंग्रेज़ी से भी कठिन।
| MSA | बोलियाँ | |
|---|---|---|
| कहाँ | समाचार, किताबें, स्कूल, अनुबंध, औपचारिक भाषण | घर, बाज़ार, फ़ोन कॉल, वॉइस नोट, चैट |
| वर्तनी | मानक | कोई तय वर्तनी नहीं; अक्सर Arabizi में टाइप होती हैं |
| ट्रेनिंग डेटा | बड़े लिखित कॉर्पस | बहुत कम, क्षेत्रों में असमान रूप से बँटा |
यह क्यों मायने रखता है
- LLM की क्वालिटी. कोई मॉडल अच्छी MSA लिख सकता है और फिर भी खाड़ी या मग़रिबी बोलचाल चूक सकता है। उसी बोली में टेस्ट करें जो आपके यूज़र बोलते हैं।
- Speech-to-text की सटीकता. कई टेस्ट सेट पढ़ा हुआ या ब्रॉडकास्ट भाषण होते हैं, जबकि आपका ऑडियो बोली वाले वॉइस नोट हो सकता है। अरबी के लिए एक ही नंबर के बजाय हर रूप का word error rate माँगें, और अपनी रिकॉर्डिंग पर टेस्ट करें।
- टोकन की लागत. हमारे tokenizer डेटासेट में, Qwen3.8 27B पर Modern Standard Arabic को अंग्रेज़ी के उन्हीं वाक्यों के मुक़ाबले 1.31× टोकन लगे (2,009 FLORES-200 वाक्य), और खाड़ी अरबी को 1.21× (49 Tatoeba वाक्यों का छोटा सेट, इसलिए यह मोटा अनुमान है)। अपने टेक्स्ट पर अरबी टोकन काउंटर चलाएँ।
BroadNet Inference पर
BroadNet बताता है कि उसने Qwen3.8 27B को धाराप्रवाह अरबी लेखन के लिए टेस्ट किया है, और वह खाड़ी व मिस्री बोलियाँ समझता है। BroadNet Transcribe Arabic बोलियों सहित अरबी के लिए सूचीबद्ध है। MSA और बोली, दोनों तरह के ऑडियो के लिए language=ar भेजें; BroadNet के डॉक्स चेतावनी देते हैं कि इसके बिना अरबी लैटिन अक्षरों में लौट सकती है। बोली की speech recognition वाला लेख समझाता है कि अपनी रिकॉर्डिंग पर कैसे टेस्ट करें।