Arabizi वह तरीक़ा है जिससे बहुत-से अरबी बोलने वाले फ़ोन पर टाइप करते हैं: अरबी शब्द, लैटिन कीबोर्ड, और गायब ध्वनियों के लिए कुछ अंक।
यह कैसे काम करता है
Darwish (2014) Arabizi को, जिसे Arabish या Franco-Arab भी कहते हैं, लैटिन रूप में transliterate की गई अरबी बताते हैं, जो उन अक्षरों के लिए अंक इस्तेमाल करती है जो अंग्रेज़ी में नहीं हैं: “2” और “3” hamza ध्वनि और ع के लिए हैं। यह इसलिए पनपी क्योंकि पुराने ब्राउज़र और फ़ोन अरबी लिपि नहीं दिखा पाते थे। यह आज भी इसलिए है क्योंकि लोग इसके आदी हैं और अंग्रेज़ी कीबोर्ड पर तेज़ टाइप करते हैं।
तीन बातें इसे सॉफ़्टवेयर के लिए मुश्किल बनाती हैं:
- कोई तय वर्तनी नहीं। Shazal, Usman और Habash (2020) बताते हैं कि सोशल मीडिया की Arabizi बोलचाल की अरबी है, जिसकी कोई मानक वर्तनी नहीं, और अरबी लिपि में उसकी मैपिंग एक-से-एक नहीं है।
- अंग्रेज़ी या फ़्रेंच के साथ मिली हुई।
w aletli Tuesday(“और उसने मुझे Tuesday बताया”) जैसा मैसेज दोनों को मिलाता है, जो code-switching है। - पहले पहचान। बदलने से पहले सॉफ़्टवेयर को तय करना होता है कि कौन-से शब्द Arabizi हैं। Darwish एक क्लासिक पाइपलाइन से 98.5% पहचान सटीकता और 88.7% रूपांतरण सटीकता बताते हैं; 2020 का sequence-to-sequence मॉडल संयुक्त टास्क के blind टेस्ट सेट पर 80.6% शब्द सटीकता तक पहुँचता है।
LLM API के लिए, tokenizer में Arabizi अरबी लिपि से अलग बर्ताव करती है, क्योंकि यह ऐसी वर्तनी वाला लैटिन टेक्स्ट है जो शब्दावली ने कम ही देखा है।
यह क्यों मायने रखता है
अगर आप खाड़ी, मिस्र या लेवांत में चैटबॉट, सर्च या एनालिटिक्स चलाते हैं, तो आपके कुछ यूज़र Arabizi में टाइप करेंगे। अरबी लिपि के लिए बने कीवर्ड सर्च, intent नियम और sentiment टूल वे मैसेज चूक जाएँगे। एक आम हल है रूटिंग या इंडेक्सिंग से पहले LLM से बोली का नाम देकर Arabizi को अरबी लिपि में बदलवाना, और मूल टेक्स्ट रखना। Arabizi हैंडलिंग गाइड प्रॉम्प्ट और जवाब की लिपि के विकल्प समझाती है।
BroadNet Inference पर
BroadNet के पास Arabizi के लिए कोई ख़ास फ़ीचर नहीं; चैट मॉडल इसे सामान्य टेक्स्ट की तरह लेते हैं। BroadNet बताता है कि उसने Qwen3.8 27B को अरबी में टेस्ट किया और वह खाड़ी और मिस्री बोलियाँ समझता है, जो Arabizi टेस्ट के लिए एक शुरुआत है। LLM के साथ खाड़ी और मिस्री बोलियाँ देखें।
स्पीच अलग मामला है। BroadNet के डॉक्स चेतावनी देते हैं कि language के बिना अरबी ऑडियो लैटिन अक्षरों में transliterate हो सकता है। वह आउटपुट Arabizi जैसा दिखता है, लेकिन बोलने वाले से नहीं, अनुरोध से आता है। BroadNet Transcribe Arabic को language=ar भेजें।