मॉडल का अरबी जवाब सही है, लेकिन स्क्रीन पर कीमत ग़लत तरफ़ बैठी है और मॉडल का नाम बीच से टूट गया है। यह bidi की समस्या है, मॉडल की नहीं।
यह कैसे काम करता है
टेक्स्ट लॉजिकल क्रम में सेव होता है, यानी जिस क्रम में उसे पढ़ा और टाइप किया जाता है। UAX #9, यानी Unicode Bidirectional Algorithm, हर कैरेक्टर को एक दिशा-टाइप देता है और लाइन का डिस्प्ले क्रम तय करता है। मेमोरी में कैरेक्टर कभी अपनी जगह नहीं बदलते; सिर्फ़ उनका दिखना बदलता है।
अक्षर strong होते हैं: अरबी राइट-टू-लेफ़्ट है, लैटिन लेफ़्ट-टू-राइट। अंक और विराम चिह्न weak या neutral होते हैं और अपनी जगह आसपास के टेक्स्ट से लेते हैं। यूरोपीय अंक टाइप EN हैं और अरबी-इंडिक अंक टाइप AN, और UAX #9 अरबी अक्षर के बाद EN को AN मान लेता है।
किसी अरबी असिस्टेंट की एक आम मिली-जुली स्ट्रिंग:
جرّب النموذج broadnet/qwen3.8-27b على 20 رسالة
लेफ़्ट-टू-राइट संदर्भ में दिखाने पर अरबी हिस्से दाएँ से बाएँ पढ़े जाते हैं, लेकिन पैराग्राफ़ बाईं ओर से शुरू होता है, इसलिए वाक्य ग़लत क्रम में दिखता है और स्लैश, डॉट और संख्या 20 ग़लत हिस्से से जुड़ सकते हैं। इलाज बेस दिशा सेट करना है, कैरेक्टर का क्रम बदलना नहीं।
जब मार्कअप उपलब्ध न हो, तब Unicode में अदृश्य कंट्रोल कैरेक्टर हैं:
| कोड पॉइंट | नाम | इस्तेमाल |
|---|---|---|
| U+200F | RLM, right-to-left mark | किसी neutral कैरेक्टर को RTL की ओर धकेलना |
| U+061C | ALM, Arabic letter mark | वही, अरबी संदर्भ के लिए |
| U+2067 | RLI, right-to-left isolate | RTL हिस्सा शुरू करना |
| U+2066 | LRI, left-to-right isolate | LTR हिस्सा शुरू करना, जैसे मॉडल ID |
| U+2068 | FSI, first strong isolate | दिशा कंटेंट से लेना |
| U+2069 | PDI, pop directional isolate | कोई भी isolate ख़त्म करना |
UAX #9 नए दस्तावेज़ों में पुराने embedding (U+202A से U+202C) के बजाय isolate इस्तेमाल करने की सलाह देता है, क्योंकि embedding आसपास के टेक्स्ट पर बहुत ज़्यादा असर डालते हैं, और कहता है कि सुरक्षा जोखिमों की वजह से override (U+202D, U+202E) से जहाँ तक हो सके बचना चाहिए।
यह क्यों मायने रखता है
HTML में W3C की सलाह है कि पेज RTL हो तो dir="rtl" को html एलिमेंट पर लगाएँ, और बेस दिशा CSS से सेट न करें। जिस टेक्स्ट की दिशा आपको पता नहीं, जैसे मॉडल का जवाब या किसी यूज़र का नाम, उसके लिए dir="auto" या bdi एलिमेंट इस्तेमाल करें। W3C बताता है कि auto पहले strong कैरेक्टर से दिशा तय करता है, इसलिए ज़्यादातर अंग्रेज़ी वाला पैराग्राफ़ अगर किसी अरबी शब्द से शुरू हो, तो वह भी ग़लत दिख सकता है।
API यूज़र्स के सामने आम समस्याएँ:
- चैट UI. स्ट्रीम होता जवाब अंग्रेज़ी में शुरू होकर अरबी में बदल जाता है।
dir="auto"पूरे पेज पर एक बार नहीं, हर मैसेज पर लगाएँ। - JSON और लॉग. मॉडल आउटपुट में अदृश्य mark हो सकते हैं।
"gulf"जैसी वैल्यू"gulf"के बराबर नहीं होगी। स्ट्रक्चर्ड आउटपुट फ़ील्ड की तुलना से पहले bidi कंट्रोल हटा दें। - अनुवादित UI स्ट्रिंग. अरबी के अंदर placeholder और प्रोडक्ट नामों को isolate चाहिए; देखें ऐप स्ट्रिंग का अरबी में अनुवाद।
BroadNet Inference पर
किसी भी OpenAI-compatible API की तरह BroadNet का चैट एंडपॉइंट JSON रिस्पॉन्स में अरबी को सामान्य टेक्स्ट के रूप में लौटाता है, और BroadNet में कोई डिस्प्ले या bidi फ़ीचर नहीं है। दिशा संभालना आपके फ़्रंट एंड का काम है। अगर आप सर्च के लिए टेक्स्ट नॉर्मलाइज़ भी करते हैं, तो bidi कंट्रोल उसी पास में हटाएँ जिसमें Unicode नॉर्मलाइज़ेशन करते हैं, क्योंकि NFC और NFKC उन्हें बनाए रखते हैं।
आम ग़लतियाँ
- डिस्प्ले “ठीक” करने के लिए कोड में अरबी स्ट्रिंग उलट देना।
- दिशा सिर्फ़ CSS से सेट करना।
- U+200F या U+2067 को ID, key या enum वैल्यू के अंदर छोड़ देना।