BroadRouter

अरबी बोली की पहचान (Arabic dialect identification)

अपडेट किया गया

अरबी बोली की पहचान वह टास्क है जिसमें तय किया जाता है कि कोई टेक्स्ट या रिकॉर्डिंग किस अरबी रूप में है, जैसे मिस्री, खाड़ी, लेवेंटाइन, मग़रिबी या मॉडर्न स्टैंडर्ड अरबी, और यह क्षेत्र, देश या शहर के स्तर पर होता है। इसका इस्तेमाल मैसेज रूट करने, प्रॉम्प्ट चुनने और मूल्यांकन सेट बाँटने में होता है।

अन्य नाम: अरबी बोली पहचान, अरबी डायलेक्ट डिटेक्शन, arabic dialect identification kya hai, dialect detection kya hai, dialect identification, dialect detection, ADI, NADI

किसी यूज़र को उसकी बोली में जवाब देने से पहले आपको जानना होगा कि उसने किस बोली में लिखा है। यही बोली की पहचान है।

यह कैसे काम करता है

रिसर्च समुदाय इसे NADI shared tasks (Nuanced Arabic Dialect Identification) से मापता है। NADI 2020 में 21 अरब देशों के 100 प्रांतों के ट्वीट थे, जिसमें एक देश-स्तर का और एक प्रांत-स्तर का सबटास्क था। NADI 2024 ने बोली पहचान को multi-label टास्क बनाया, क्योंकि एक वाक्य कई बोलियों में सही हो सकता है, और “dialectness” के स्तर पर एक सबटास्क जोड़ा। Subtask 1 के सबसे अच्छे सिस्टम ने 50.57 F1 स्कोर किया, और आयोजक लिखते हैं कि बोली पहचान अब भी चुनौतीपूर्ण है।

MADAR कॉर्पस (Bouamor और साथी, 2018) एक आम संसाधन है: यात्रा से जुड़े वही वाक्य 25 शहरों की बोलियों में अनुवाद किए गए हैं। 2,000 वाक्य सभी 25 में हैं; 10,000 और वाक्य Doha, Beirut, Cairo, Tunis और Rabat के लिए हैं। ऐसे पैरेलल डेटा से दिखता है कि एक ही बात हर जगह कैसे लिखी जाती है।

व्यवहार में ज़्यादातर प्रोडक्ट को मोटा लेबल चाहिए। एक काम का सेट:

लेबल किसे कवर करता है
msa मॉडर्न स्टैंडर्ड अरबी
gulf सऊदी, अमीराती, कुवैती, क़तरी, बहरैनी, ओमानी
egyptian मिस्री
levantine सीरियाई, लेबनानी, जॉर्डनी, फ़िलिस्तीनी
maghrebi मोरक्कन, अल्जीरियाई, ट्यूनीशियाई, लीबियाई
other_or_unclear इराक़ी, यमनी, सूडानी, मिली-जुली या बहुत छोटी

इसके लिए LLM प्रॉम्प्ट एक JSON ऑब्जेक्ट माँगता है: लेबल, भरोसे का स्तर, और वे शब्द जिनसे बोली पता चली। उदाहरण के लिए, मैसेज عايز أغير الباقة का जवाब यह होगा:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

संकेत (cues) माँगने से ग़लतियाँ जाँचना आसान होता है: अगर संकेत कोई MSA शब्द है, तो लेबल संदिग्ध है।

यह क्यों मायने रखता है

  • रूटिंग। खाड़ी के ग्राहकों को खाड़ी के एजेंट के पास भेजें, या जवाब वाला प्रॉम्प्ट यूज़र की बोली में बदलें।
  • मूल्यांकन। स्पीच और चैट टेस्ट सेट को बोली के हिसाब से बाँटें। एक औसत सबसे कमज़ोर समूह को छिपा देता है, जैसा बोली स्पीच रिकग्निशन पोस्ट दिखाती है।
  • एनालिटिक्स। किसी एक बोली में निवेश करने से पहले जानें कि आपके यूज़र असल में कौन-सी बोलियाँ लिखते हैं।

मिले-जुले मैसेज आम हैं। यूज़र एक ही लाइन में बोली, MSA और अंग्रेज़ी के बीच बदलते हैं, जिसे code-switching कहते हैं; ज़बरदस्ती अंदाज़ा लगवाने के बजाय “unclear” लेबल रखें।

BroadNet Inference पर

BroadNet के पास बोली पहचान का कोई एंडपॉइंट नहीं है। आप इसे POST /v1/chat/completions पर बना सकते हैं। BroadNet का API रेफ़रंस GLM 5.3 और Qwen3.8 27B के लिए structured output दर्ज करता है, जो तय लेबल सूची के लिए उपयुक्त है; structured output देखें। BroadNet बताता है कि उसने Qwen3.8 27B को टेस्ट किया और वह खाड़ी और मिस्री बोलियाँ समझता है। BroadNet किसी भी मॉडल के लिए बोली पहचान की सटीकता प्रकाशित नहीं करता, इसलिए भरोसा करने से पहले अपने लगभग 100 मैसेज हाथ से लेबल करें और मॉडल को उन पर मापें।

अरबी टेक्स्ट क्लासिफ़िकेशन पोस्ट इस तरह के टास्क के लिए प्रॉम्प्ट, लेबल सूची और स्कोरिंग समझाती है, और बोलचाल की अरबी बताती है कि लेबल का मतलब क्या है।

अक्सर पूछे जाने वाले सवाल

अरबी बोली की पहचान कितनी सटीक होती है?

यह लेबल की बारीकी और टेक्स्ट की लंबाई पर निर्भर है। NADI 2024 में multi-label बोली पहचान पर सबसे अच्छे सिस्टम ने 50.57 F1 स्कोर किया, और आयोजकों का निष्कर्ष है कि यह टास्क अब भी चुनौतीपूर्ण है। लंबे मैसेज पर क्षेत्र-स्तर के लेबल, छोटे मैसेज पर देश या शहर के लेबल से आसान हैं।

क्या एक मैसेज में एक से ज़्यादा बोली हो सकती है?

हाँ। छोटे या तटस्थ वाक्य कई बोलियों में सही हो सकते हैं, इसीलिए NADI 2024 ने बोली पहचान को multi-label टास्क बनाया। "स्पष्ट नहीं" या multi-label जवाब की गुंजाइश रखें।

क्या मुझे अलग classifier चाहिए?

शुरुआत में नहीं। तय लेबल सूची वाला LLM जल्दी सेट हो जाता है। हाथ से लेबल किए गए सैंपल पर इसे मापें; अगर वॉल्यूम या सटीकता की माँग हो, तो ट्रेन किए गए classifier पर जाएँ।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें