BroadRouter

कई भाषाओं के लिए AI प्रोडक्ट कैसे डिज़ाइन करें

BroadNet Inference टीम · 7 मिनट में पढ़ें · प्रकाशित

दो सेटिंग अलग-अलग स्टोर करें: इंटरफ़ेस लोकेल और कंटेंट की भाषा, और एक से दूसरी का अंदाज़ा कभी न लगाएँ। दिशा लोकेल से तय करें, यूज़र और मॉडल के टेक्स्ट को dir="auto" या bdi से अलग करें, संख्याएँ और तारीख़ें लोकेल के हिसाब से फ़ॉर्मैट करें, इनपुट में अंक सामान्य करें, भाषा पहचान को सिर्फ़ संकेत मानें, और हर भाषा की गुणवत्ता और लागत अलग से जाँचें।

अरबी, अंग्रेज़ी और स्पेनिश यूज़र्स के लिए AI फ़ीचर असल में एक ही कोडबेस पर चलने वाले तीन प्रोडक्ट हैं। अरबी के लिए स्क्रीन की दिशा पलटनी पड़ती है। एक ही लाइन में अलग-अलग लिपियाँ मिल जाती हैं। संख्याओं और तारीख़ों का रूप इलाक़े के हिसाब से बदलता है। मॉडल ग़लत भाषा में जवाब दे सकता है, और हर भाषा की लागत अलग होती है। इनमें से ज़्यादातर समस्याएँ एक ही डिज़ाइन ग़लती से आती हैं: “भाषा” को एक अकेली सेटिंग मान लेना।

यह पोस्ट प्रोडक्ट और इंटरफ़ेस वाले पहलू पर है। अपने ऐप की स्ट्रिंग्स (प्लेसहोल्डर, बहुवचन, ICU मैसेज) का अनुवाद LLM से ऐप स्ट्रिंग्स का अरबी अनुवाद में है; प्रॉम्प्ट की भाषा अरबी प्रॉम्प्ट इंजीनियरिंग में।

इंटरफ़ेस लोकेल को मॉडल की भाषा से अलग क्यों रखें?

क्योंकि दोनों अलग सवालों का जवाब देते हैं। इंटरफ़ेस लोकेल (ar-SA, en-US, es-MX) लेआउट की दिशा, आपके बटनों की भाषा, और संख्याओं और तारीख़ों का रूप तय करता है। कंटेंट की भाषा किसी ख़ास मैसेज, दस्तावेज़ या रिकॉर्डिंग की भाषा है, और यह तय करती है कि आप मॉडल से क्या करवाते हैं।

ये दोनों अक्सर अलग होते हैं। अरबी इंटरफ़ेस वाला कोई सऊदी यूज़र अंग्रेज़ी कॉन्ट्रैक्ट पेस्ट करता है। कोई स्पेनिश यूज़र अरबी इनवॉइस की फ़ोटो अपलोड करता है। कोई द्विभाषी एजेंट बातचीत के बीच भाषा बदल देता है (code-switching)। अगर कोड इंटरफ़ेस अरबी होने की वजह से “अरबी में जवाब दो” भेजता है, तो अंग्रेज़ी कॉन्ट्रैक्ट का ऐसा अरबी सारांश बनता है जो किसी ने माँगा ही नहीं।

इसलिए हर यूज़र और हर मैसेज के लिए दोनों स्टोर करें:

  • ui_locale: यूज़र चुनता है, डिफ़ॉल्ट ब्राउज़र की भाषा।
  • answer_language: अगर यूज़र ने ख़ुद चुनी है तो वही, नहीं तो मैसेज की पहचानी गई भाषा।
  • ऑडियो के लिए audio_language: जो आप ट्रांसक्रिप्शन मॉडल को भेजते हैं। BroadNet का API रेफ़रंस कहता है कि ट्रांसक्रिप्शन अनुरोध के साथ हमेशा language भेजें, नहीं तो अरबी लैटिन अक्षरों में लौट सकती है।

दाएँ-से-बाएँ और मिली-जुली दिशा वाले टेक्स्ट को कैसे सँभालें?

W3C के दिशानिर्देशों के हिसाब से तीन परतें:

  1. पेज की दिशा लोकेल से। अरबी के लिए html एलिमेंट पर dir="rtl" और lang="ar" सेट करें। W3C कहता है कि बेस दिशा CSS से सेट न करें, और मार्जिन, पैडिंग और अलाइनमेंट के लिए left और right की जगह लॉजिकल वैल्यू (start और end) इस्तेमाल करें।
  2. लॉजिकल CSS। margin-left की जगह margin-inline-start, left की जगह text-align: start। MDN लॉजिकल प्रॉपर्टीज़ को ऐसी चीज़ बताता है जो लेआउट को “through logical rather than physical direction” (अनुवाद: भौतिक की जगह लॉजिकल दिशा से) नियंत्रित करती है। तब एक ही स्टाइलशीट दोनों दिशाओं के लिए काम करती है।
  3. जो टेक्स्ट आपने नहीं लिखा, उसे अलग करें। यूज़र के मैसेज, मॉडल के जवाब, प्रोडक्ट के नाम और ऑर्डर कोड की अपनी दिशा होती है। W3C का नियम: अगर रनटाइम पर डाले गए टेक्स्ट की दिशा आपको नहीं पता, तो उसे घेरने वाले एलिमेंट पर dir="auto" लगाएँ, या उसे bdi एलिमेंट में रखें। ऐसा न करने पर अरबी वाक्य के आख़िर में आया अंग्रेज़ी ऑर्डर कोड ग़लत तरफ़ कूद सकता है, और विराम चिह्न अजीब जगहों पर पहुँच जाते हैं।

चैट इंटरफ़ेस के लिए इसका मतलब है हर मैसेज बबल पर dir="auto", क्योंकि हर मैसेज अपने पहले मज़बूत अक्षर से दिशा लेता है, और आपकी अपनी इंटरफ़ेस स्ट्रिंग्स के अंदर नामों और कोड के चारों ओर bdi। जहाँ मार्कअप नहीं है (पुश नोटिफ़िकेशन, SMS, CSV एक्सपोर्ट), वहाँ Unicode Bidirectional Algorithm के आइसोलेट यही काम करते हैं: टेक्स्ट से पहले U+2068 FIRST STRONG ISOLATE और बाद में U+2069 POP DIRECTIONAL ISOLATE।

मॉडल का आउटपुट एक और मामला जोड़ता है: Markdown। अरबी में जवाब देने वाला मॉडल अंग्रेज़ी कोड, URL या टेबल सेल शामिल कर सकता है। कोड ब्लॉक को साफ़ तौर पर dir="ltr" के साथ रेंडर करें, और हर पैराग्राफ़ और टेबल सेल को dir="auto" दें।

लोकेल के हिसाब से संख्याएँ और तारीख़ें कैसे बदलें?

फ़ॉर्मैटिंग प्लेटफ़ॉर्म पर छोड़ें, और जाँचें कि वह असल में क्या बनाता है। हमने Node 24.22.1 (ICU 78.3, CLDR 48) में 1234.5 और 15 नवंबर 2026 के लिए Intl.NumberFormat और Intl.DateTimeFormat चलाया:

लोकेल संख्या तारीख़ (लंबा रूप) दिशा
en-US 1,234.5 November 15, 2026 ltr
ar-SA ١٬٢٣٤٫٥ ١٥ نوفمبر ٢٠٢٦ rtl
ar-SA-u-nu-latn 1,234.5 15 نوفمبر 2026 rtl
ar-AE 1,234.5 15 نوفمبر 2026 rtl
es-ES 1234,5 15 de noviembre de 2026 ltr
es-MX 1,234.5 15 de noviembre de 2026 ltr

चार बातें ध्यान देने लायक़ हैं। अरबी लोकेल अंकों पर अलग हैं: सऊदी का डिफ़ॉल्ट अरबी-इंडिक है, UAE का पश्चिमी, और -u-nu-latn एक्सटेंशन (MDN का numberingSystem देखें) किसी लोकेल को पश्चिमी अंकों पर ले आता है। स्पेनिश इलाक़े के हिसाब से अलग है: स्पेन दशमलव के लिए कॉमा इस्तेमाल करता है और चार अंकों की संख्या में हज़ार का सेपरेटर नहीं लगाता; मेक्सिको बिंदु इस्तेमाल करता है। अरब दुनिया में महीनों के नाम भी अलग हैं: नवंबर के लिए ar-MA ने نونبر छापा, जबकि ar-SA ने نوفمبر। और ब्राउज़र अपने-अपने ICU वर्ज़न के साथ आते हैं, इसलिए यही जाँच अपने टारगेट ब्राउज़रों में भी चलाएँ।

बहुवचन CLDR नियमों पर चलते हैं: ar के लिए Intl.PluralRules ने 0, 1, 2, 3, 11 और 100 के लिए छह श्रेणियाँ लौटाईं (zero, one, two, few, many, other), जबकि अंग्रेज़ी और स्पेनिश ने इन संख्याओं के लिए सिर्फ़ one और other। इसका स्ट्रिंग्स वाला पहलू ऐप स्ट्रिंग्स वाली पोस्ट में है।

इनपुट में अंकों के दोनों रूप स्वीकार करें। यूज़र किसी मात्रा वाले फ़ील्ड में ١٢٣٤ टाइप कर सकता है; पार्स करने से पहले, और अगर आपके प्रॉम्प्ट संख्याओं की तुलना करते हैं तो मॉडल को भेजने से पहले भी, उसे ASCII अंकों में बदलें।

क्या हर मैसेज की भाषा पहचानी जा सकती है?

कुछ हद तक। अरबी लिपि को लैटिन लिपि से अलग करना आसान और भरोसेमंद है: अरबी Unicode ब्लॉक के अक्षर गिनें। अंग्रेज़ी को स्पेनिश से अलग करने, या बहुत छोटे मैसेज पढ़ने के लिए ट्रेन किया हुआ मॉडल चाहिए। fastText 176 भाषाओं के लिए दो भाषा-पहचान मॉडल प्रकाशित करता है (lid.176.bin, 126 MB, और कंप्रेस किया हुआ lid.176.ftz, 917 kB)।

ऊपर के फ़ैसलों के लिए यह एक छोटा हेल्पर मॉड्यूल है। डिटेक्टर जान-बूझकर सरल रखा गया है, ताकि दिखे कि सरल तरीक़ा कहाँ चूकता है।

// UI locale and content language are separate values. Never derive one from the other silently.
const RTL = new Set(['ar', 'he', 'fa', 'ur']);

/** Rough script-based guess: enough to pick a direction and a prompt, not a language-ID model. */
export function guessLanguage(text) {
  const arabic = (text.match(/[؀-ۿݐ-ݿ]/g) || []).length;
  const latin = (text.match(/[A-Za-zÀ-ÿ]/g) || []).length;
  if (arabic + latin < 3) return 'und';
  if (arabic / (arabic + latin) > 0.6) return 'ar';
  if (arabic / (arabic + latin) > 0.2) return 'mixed';
  return /[ñ¿¡áéíóú]|\b(el|la|los|las|de|que|por|para|está|dónde)\b/i.test(text) ? 'es' : 'en';
}

/** Wrap user or model text for display inside UI text of either direction (W3C: bdi / dir="auto"). */
export const isolate = (s) => `<bdi>${s.replace(/[&<>"]/g, (c) => ({ '&': '&amp;', '<': '&lt;', '>': '&gt;', '"': '&quot;' })[c])}</bdi>`;

/** Plain-text equivalent for places with no markup (notifications, CSV, SMS): FSI ... PDI. */
export const isolateText = (s) => `⁨${s}⁩`;

export function formatters(uiLocale) {
  return {
    dir: RTL.has(new Intl.Locale(uiLocale).language) ? 'rtl' : 'ltr',
    number: new Intl.NumberFormat(uiLocale),
    date: new Intl.DateTimeFormat(uiLocale, { dateStyle: 'long', timeZone: 'UTC' }),
    plural: new Intl.PluralRules(uiLocale),
  };
}

/** Normalise digits a user typed before parsing: Arabic-Indic and Persian to ASCII. */
export const toAsciiDigits = (s) =>
  s.replace(/[٠-٩]/g, (d) => d.charCodeAt(0) - 0x0660).replace(/[۰-۹]/g, (d) => d.charCodeAt(0) - 0x06F0);

/** System prompt: the answer language comes from the content, or the user's explicit choice, not the UI. */
export function systemPrompt({ answerLanguage }) {
  const name = { ar: 'Arabic', en: 'English', es: 'Spanish' }[answerLanguage] ?? 'the language of the user\'s message';
  return `Answer in ${name}. Keep product names, code, URLs and numbers exactly as written.`;
}

हमने इसे Node 24 में चलाया। इसने وين طلبي؟ को ar, “¿Dónde está mi pedido?” को es, “Where is my order?” को en, और ORD-5521 कोड वाले एक अरबी वाक्य को ar बताया। “ok” का नतीजा und आया, जिससे प्रॉम्प्ट सही तरीक़े से “the language of the user’s message” पर लौट जाता है। और “ana 3ayez a3raf el order fen”, यानी लैटिन अक्षरों में मिस्री अरबी (Arabizi), का नतीजा es आया, क्योंकि “el” शब्द स्पेनिश जैसा दिखता है। एक अनुमान-आधारित तरीक़े का यही ईमानदार नतीजा है। अगर आपके यूज़र Arabizi में लिखते हैं, तो उसे अलग से पहचानें और अरबी मानें, जैसा Arabizi को सँभालने में है, और यूज़र्स को एक टैप में जवाब की भाषा सुधारने दें।

अंकों वाले हेल्पर ने ٢٠٢٦-١١-١٥ को 2026-11-15 में बदला, और isolate() ने रैप करने से पहले HTML एस्केप किया, ताकि Acme <Ltd> जैसा कंपनी का नाम मार्कअप इंजेक्ट न कर सके।

भाषा बदलने पर और क्या बदलता है?

  • टेक्स्ट की लंबाई। अनुवादित इंटरफ़ेस टेक्स्ट अक्सर लंबा होता है। W3C, IBM के दिशानिर्देशों का हवाला देता है, जिनके मुताबिक़ यूरोपीय भाषाओं में 10 अक्षरों तक की अंग्रेज़ी स्ट्रिंग अपनी लंबाई की 200–300% तक हो सकती है, और 70 अक्षरों से लंबी स्ट्रिंग लगभग 130%। बटन और लेबल ऐसे डिज़ाइन करें कि टेक्स्ट अगली लाइन में जा सके, और स्पेनिश बिल्ड को कम चौड़ाई पर टेस्ट करें।
  • फ़ॉन्ट। ऐसा फ़ॉन्ट परिवार चुनें जिसका मेल खाता अरबी डिज़ाइन हो, और अरबी की लाइन-ऊँचाई जाँचें: मात्राओं (डायक्रिटिक्स) को ऊपर और नीचे जगह चाहिए।
  • सर्च और मिलान। मिलान से पहले अरबी टेक्स्ट को सामान्य करना पड़ता है (डायक्रिटिक्स, अलिफ़ के रूप, ततवील)। अरबी टेक्स्ट नॉर्मलाइज़र हर नियम दिखाता है।
  • स्पीच। ट्रांसक्रिप्शन मॉडल ऑडियो की भाषा से चुनें, इंटरफ़ेस से नहीं। BroadNet एक अरबी मॉडल और एक 14 भाषाओं वाला मॉडल लिस्ट करता है जो अंग्रेज़ी, स्पेनिश और अरबी को कवर करता है; उसके मल्टीलिंगुअल मॉडल का पेज कहता है कि अरबी ऑडियो के लिए अरबी मॉडल चुनें। मल्टीलिंगुअल speech-to-text पोस्ट विकल्पों की तुलना करती है।
  • बोली। “अरबी” एक अकेला टारगेट नहीं है। रियाद, काहिरा और कैसाब्लांका के यूज़र अलग तरह से लिखते हैं; क्या टेस्ट करें, यह खाड़ी और मिस्री बोलियाँ में है।

हर भाषा का मूल्यांकन और बजट कैसे करें?

अलग-अलग। एक मिला-जुला स्कोर कमज़ोर भाषा को छिपा देता है, और एक मिला-जुला बजट महँगी भाषा को।

असली मैसेज से हर भाषा के लिए एक छोटा मूल्यांकन सेट बनाएँ, जिसमें मूल भाषी लोग अपेक्षित जवाब लेबल करें। जाँचें कि जवाब माँगी गई भाषा में है, कि नाम, संख्याएँ और कोड बिना बदले रहते हैं, और कि आपकी हर बोली के लिए गुणवत्ता बनी रहती है। मॉडल या प्रॉम्प्ट बदलने पर यही सेट दोबारा चलाएँ; तरीक़ा बदलने से पहले LLM का मूल्यांकन में है।

लागत के लिए: टोकन की संख्या भाषा और टोकनाइज़र के हिसाब से अलग होती है। BroadRouter के मापे गए डेटासेट में, वही मॉडर्न स्टैंडर्ड अरबी टेक्स्ट अपने अंग्रेज़ी अनुवाद के 1.31× (Qwen3.8 27B) से 1.77× (GLM 5.3) टोकन लेता है। भाषा के हिसाब से असली लागत इन संख्याओं को हर मॉडल के पैसे में बदलती है, स्पेनिश समेत, और अरबी टोकन काउंटर आपका अपना टेक्स्ट मापता है। हर अनुरोध के टोकन कंटेंट की भाषा के साथ लॉग करें, तो आप सिर्फ़ हर महीने की नहीं, हर यूज़र और हर भाषा की लागत देख सकते हैं।

आख़िर में, लॉन्च से पहले मूल भाषी से समीक्षा करवाएँ। मशीन अनुवाद और मॉडल आउटपुट, दोनों ऐसी अरबी और स्पेनिश बनाते हैं जो व्याकरण में सही होती है, पर आपके दर्शकों के लिए ग़लत। अपनी भाषा में प्रोडक्ट इस्तेमाल करने वाला समीक्षक वह पकड़ता है जो कोई टेस्ट नहीं पकड़ता।

BroadNet Inference कहाँ काम आता है

BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference के मॉडल अरबी, अंग्रेज़ी और स्पेनिश प्रोडक्ट के लिए ठीक बैठते हैं: BroadNet बताता है कि उसने Qwen3.8 27B को अरबी में टेस्ट किया है, जिसमें खाड़ी और मिस्री बोलियों की समझ भी शामिल है; Gemma 4 VL 26B $5 शुरुआती क्रेडिट पर चलता है; और ट्रांसक्रिप्शन अरबी (BroadNet Transcribe Arabic, $0.0042 प्रति मिनट) और अंग्रेज़ी और स्पेनिश समेत 14 भाषाओं (BroadNet Transcribe, $0.002 प्रति मिनट) को कवर करता है। इन्फ़रेंस कंटेंट रखा नहीं जाता; ज़रूरी अकाउंट, बिलिंग और सुरक्षा मेटाडेटा BroadNet के प्राइवेसी स्टेटमेंट के अनुसार रखा जाता है। इस पोस्ट में लेआउट, दिशा, फ़ॉर्मैटिंग और पहचान के बारे में जो कुछ है, वह आपके ऐप्लिकेशन का काम है, चाहे आप कोई भी API इस्तेमाल करें।

अक्सर पूछे जाने वाले सवाल

AI को इंटरफ़ेस की भाषा में जवाब देना चाहिए या यूज़र की भाषा में?

डिफ़ॉल्ट रूप से यूज़र के मैसेज की भाषा में, और यूज़र को इसे बदलने दें। इंटरफ़ेस लोकेल सिर्फ़ यह बताता है कि स्क्रीन का लेआउट कैसा हो। अरबी इंटरफ़ेस वाला यूज़र अगर अंग्रेज़ी में लिखता है, तो आम तौर पर उसे अंग्रेज़ी जवाब चाहिए।

अरबी चैट बबल के अंदर अंग्रेज़ी टेक्स्ट कैसे दिखाऊँ?

हर मैसेज एलिमेंट को dir="auto" दें, ताकि ब्राउज़र पहले मज़बूत अक्षर से उसकी दिशा तय करे, और बीच में डाले गए नाम, कोड और URL को bdi एलिमेंट में रखें। सादे टेक्स्ट में उन्हें U+2068 FIRST STRONG ISOLATE और U+2069 POP DIRECTIONAL ISOLATE के बीच रखें।

क्या अरबी यूज़र्स को अरबी-इंडिक अंक दिखाने चाहिए?

यह इलाक़े और आपके यूज़र्स पर निर्भर है। हमारे Node 24 टेस्ट में ar-SA और ar-EG का डिफ़ॉल्ट अरबी-इंडिक अंक था, और ar-AE और ar-MA का पश्चिमी अंक। हर लोकेल के लिए चुनें, एक सेटिंग दें, और पार्स करने से पहले अंकों को सामान्य करके इनपुट में दोनों रूप स्वीकार करें।

चैट मैसेज की भाषा कैसे पहचानूँ?

अरबी बनाम लैटिन लिपि के लिए अरबी Unicode ब्लॉक के अक्षर गिनना काफ़ी है। अंग्रेज़ी और स्पेनिश में फ़र्क़ करने, या छोटे और मिले-जुले मैसेज के लिए fastText के lid.176 जैसा ट्रेन किया हुआ भाषा-पहचान मॉडल इस्तेमाल करें, और फिर भी नतीजे को सिर्फ़ संकेत मानें।

क्या LLM API पर अरबी, अंग्रेज़ी से महँगी पड़ती है?

हर मैसेज के हिसाब से अक्सर हाँ, क्योंकि कई टोकनाइज़र को उसी अरबी कंटेंट के लिए ज़्यादा टोकन चाहिए। अनुपात मॉडल के टोकनाइज़र पर निर्भर है। इसे अपने टेक्स्ट पर मापें और हर भाषा का बजट अलग रखें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें

स्रोत