LLM से अरबी और अंग्रेज़ी के बीच अनुवाद के लिए मॉडल को दिशा, पाठक और लहजा बताएँ, तय शब्दों की शब्दावली दें, संख्याएँ और नाम न बदलने दें, और पैराग्राफ़ जितने टुकड़े भेजें। फिर संख्याएँ और निषेध कोड में जाँचें और chrF, COMET और किसी मातृभाषी समीक्षक से स्कोर करें।
अरबी में यह नियंत्रण मायने रखता है, जहाँ शब्दशः अनुवाद सही होकर भी पराया लग सकता है।
LLM के लिए अरबी–अंग्रेज़ी अनुवाद मुश्किल क्यों है?
- लहजा। औपचारिक अरबी (आधुनिक मानक अरबी, فصحى) और रोज़ की बोलचाल में बड़ा फ़र्क़ है। जो मार्केटिंग लाइन अंग्रेज़ी में सहज है, वह शब्दशः MSA में अकड़ी हुई या हास्यास्पद लग सकती है।
- शब्द-क्रम और लंबाई। अरबी वाक्य अक्सर क्रिया से शुरू होते हैं, और अरबी टेक्स्ट की लंबाई अक्सर अंग्रेज़ी से अलग होती है। जो UI strings अंग्रेज़ी में फ़िट होती हैं, वे wrap या overflow हो सकती हैं।
- लिंग और वचन। अरबी क्रियाओं, विशेषणों और सर्वनामों पर लिंग दिखाती है, और उसमें द्विवचन है। अंग्रेज़ी का “you” أنتَ, أنتِ, أنتما, أنتم या أنتنّ बनना चाहिए। अगर आप पाठक को नहीं जानते, तो मॉडल को बताएँ कि कौन-सा डिफ़ॉल्ट इस्तेमाल करे।
- नाम और लिप्यंतरण। “محمد” की कई अंग्रेज़ी वर्तनियाँ हैं (Mohammed, Muhammad, Mohamed)। हर व्यक्ति के लिए एक चुनें और उसी पर टिके रहें।
- संख्याएँ और तारीख़ें। पूर्वी अरबी अंक, हिजरी तारीख़ें और दाएँ से बाएँ फ़ॉर्मैटिंग, सबके लिए साफ़ नियम चाहिए।
कौन-सा प्रॉम्प्ट अच्छे अरबी अनुवाद देता है?
अनुवाद की क्वालिटी चतुर शब्दों से कहीं ज़्यादा निर्देशों पर निर्भर है। मॉडल को दिशा, पाठक, लहजा, शब्दावली और आउटपुट फ़ॉर्मैट बताएँ:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
GLOSSARY = """Invoice = فاتورة
VAT = ضريبة القيمة المضافة
Refund = استرداد المبلغ
Terms and Conditions = الشروط والأحكام
BroadPay = BroadPay (do not translate)"""
SYSTEM = f"""You translate customer-support articles from English to Arabic.
Audience: retail customers in Saudi Arabia and the UAE.
Register: clear, polite Modern Standard Arabic; short sentences; address the reader
in the masculine singular as a neutral default.
Rules:
- Use the glossary exactly. Never translate product names marked "do not translate".
- Keep every number, date, URL, email address and code snippet unchanged.
- Keep Markdown structure (headings, lists, links) unchanged.
- Output only the translation.
Glossary:
{GLOSSARY}"""
def translate(text: str) -> str:
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=4000, # the model reasons before answering
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}],
)
return r.choices[0].message.content
अरबी → अंग्रेज़ी के लिए दिशा पलटें और वह जोड़ें जो अंग्रेज़ी पाठक को चाहिए: “American English, plain style, keep Arabic personal names in the spelling given in the glossary” (अमेरिकी अंग्रेज़ी, सादी शैली, अरबी व्यक्तिगत नाम शब्दावली में दी वर्तनी में रखें)। अगर source बोली में हो सकता है, तो बताएँ: “The source may be Gulf or Egyptian Arabic; translate the meaning, not word for word.” (source खाड़ी या मिस्री अरबी हो सकता है; अर्थ का अनुवाद करें, शब्दशः नहीं।)
शब्दावली इतनी अहम क्यों है?
शब्दावली के बिना मॉडल “refund” को एक पैराग्राफ़ में استرجاع और अगले में استرداد लिख सकता है। दोनों ठीक अरबी हैं; साथ में ये लापरवाह लगते हैं और सर्च तोड़ते हैं। शब्दावली इसे ठीक करती है:
- अपने मौजूदा अनुवादों से शुरू करें। Help centre, कॉन्ट्रैक्ट और UI strings से शब्द निकालें जो आपके पास दोनों भाषाओं में पहले से हैं।
- इसे छोटा रखें। पचास से दो सौ शब्द ज़्यादातर प्रोडक्ट्स को कवर करते हैं। सिर्फ़ वे शब्द रखें जो बदलने नहीं चाहिए।
- अनुवाद-न-करें वाली चीज़ें शामिल करें। ब्रांड नाम, प्रोडक्ट नाम, प्लान नाम और code identifiers।
- इसे system prompt में, टेक्स्ट से पहले रखें। इससे यह cache होने लायक़ prefix में भी रहती है, जो बार-बार की कॉल पर इनपुट लागत घटाता है; देखें cached इनपुट टोकन।
- इसे कोड में जाँचें। अनुवाद के बाद, source में आए हर शब्दावली शब्द का target में तय रूप में होना जाँचें।
लंबे दस्तावेज़ों को कैसे बाँटें?
पैराग्राफ़ या section के टुकड़ों में अनुवाद करें, वाक्य-दर-वाक्य नहीं। वाक्य-स्तर की कॉल संदर्भ खो देती हैं (“वह” कौन है, “यह” किस प्रोडक्ट की बात है)। पूरे दस्तावेज़ की कॉल लंबे कॉन्टेक्स्ट वाले मॉडलों पर चलती हैं, लेकिन एक ग़लती को ढूँढना और दोबारा चलाना मुश्किल होता है। कुछ सौ शब्दों का एक section अच्छा संतुलन है। अगर एकरूपता अहम है तो पिछले section का अनुवाद संदर्भ के रूप में भेजें।
Qwen3.8 27B का कॉन्टेक्स्ट 262,144 टोकन है; DeepSeek V4.1 Flash और GLM 5.3 1,048,576 टोकन तक लेते हैं, जो अनुवाद वाले टेक्स्ट के साथ एक लंबा reference दस्तावेज़ जोड़ने के लिए काफ़ी है।
ख़तरनाक ग़लतियाँ कैसे पकड़ें?
धाराप्रवाह आउटपुट ग़लतियाँ छिपा लेता है। इन्हें ऑटोमैटिक जाँचें:
- संख्याएँ: source और target से हर संख्या निकालें (पूर्वी अरबी अंक बदलने के बाद) और दोनों sets मिलाएँ।
- निषेध: छूटा हुआ “नहीं” (لا, لم, لن, ليس, ما) अर्थ उलट देता है। ऐसे वाक्य चिह्नित करें जहाँ source में निषेध है और target में नहीं।
- नाम और शब्दावली के शब्द: जाँचें कि वे बिना बदले बचे रहे।
- लंबाई का अनुपात: उम्मीद से बहुत छोटा target आमतौर पर बताता है कि कुछ छूट गया।
import re
EASTERN = str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789")
def numbers(s: str) -> list[str]:
return sorted(re.findall(r"\d+(?:[.,]\d+)?", s.translate(EASTERN)))
def check(src: str, tgt: str) -> list[str]:
issues = []
if numbers(src) != numbers(tgt):
issues.append(f"numbers differ: {numbers(src)} vs {numbers(tgt)}")
return issues
दशमलव विभाजक locales के बीच अलग हो सकता है (अरबी टेक्स्ट कभी-कभी ٫ इस्तेमाल करता है), इसलिए अगर आपके दस्तावेज़ उन्हें इस्तेमाल करते हैं तो उन्हें भी normalize करें।
अनुवाद की क्वालिटी का मूल्यांकन कैसे करें?
ऑटोमैटिक metrics बताते हैं कि प्रॉम्प्ट या मॉडल के किसी बदलाव ने औसतन चीज़ें बेहतर कीं या बदतर:
| Metric | क्या मापता है | अरबी के लिए नोट्स |
|---|---|---|
| BLEU | reference से शब्द n-gram का मेल | अरबी पर सख़्त, जहाँ clitics और वर्तनी के रूप शब्दों का आकार बदलते हैं |
| chrF | Character n-gram का मेल | अरबी morphology के साथ ज़्यादा नरम; बेहतर डिफ़ॉल्ट |
| COMET | एक neural मॉडल का क्वालिटी आकलन | इंसानी रेटिंग से बेहतर मेल; GPU या hosted scorer चाहिए |
सार्वजनिक benchmark के लिए, No Language Left Behind प्रोजेक्ट में इस्तेमाल FLORES-200 अपनी भाषा सूची के अनुसार अंग्रेज़ी के साथ आधुनिक मानक अरबी और मिस्री, नज्दी, उत्तरी और दक्षिणी लेवेंटाइन, मेसोपोटामियाई, मोरक्कन, ट्यूनीशियाई और ताइज़्ज़ी-अदनी अरबी रखता है। लेकिन असली टेस्ट आपका अपना कंटेंट है:
- मौजूदा पेशेवर अनुवादों वाले 100 से 200 प्रतिनिधि segments लें।
- हर मॉडल और प्रॉम्प्ट वर्ज़न से उनका अनुवाद करें।
- सभी सिस्टमों के लिए अरबी वर्तनी एक ही तरह normalize करने के बाद chrF (और हो सके तो COMET) स्कोर करें।
- किसी मातृभाषी से हर सिस्टम के 30 segments को सटीकता और स्वाभाविकता पर रेट करवाएँ, बिना बताए कि किस सिस्टम ने बनाया।
- ऊपर की ख़तरनाक-ग़लती वाली जाँचों को अलग गिनती के रूप में ट्रैक करें।
कौन-सा मॉडल इस्तेमाल करें, और लागत कितनी होगी?
BroadNet बताता है कि उसके टेस्ट में Qwen3.8 27B ने अरबी और अंग्रेज़ी के बीच सटीक अनुवाद किया, धाराप्रवाह अरबी लिखी और खाड़ी और मिस्री बोलियाँ समझीं। इससे यह BroadNet Inference पर पहला स्वाभाविक उम्मीदवार बनता है। DeepSeek V4.1 Flash भी टेस्ट करने लायक़ है: इसके आउटपुट टोकन सस्ते हैं, और अनलिमिटेड फ़्लैट प्लान पर यही मॉडल है। DeepSeek V4.1 Flash बनाम Qwen3.8 27B तुलना दोनों को आमने-सामने रखती है।
प्रति 1M टोकन:
| मॉडल | इनपुट | आउटपुट |
|---|---|---|
| Qwen3.8 27B | $0.175 | $2.17 |
| DeepSeek V4.1 Flash | $0.175 | $0.52 |
| GLM 5.3 | $0.78 | $3.46 |
अनुवाद का आउटपुट लगभग इनपुट जितना लंबा होता है, और तीनों मॉडल जवाब से पहले reasoning करते हैं, इसलिए बिल में आमतौर पर आउटपुट टोकन हावी रहते हैं। अरबी को अंग्रेज़ी से प्रति शब्द ज़्यादा टोकन भी चाहिए होते हैं; देखें अरबी और अंग्रेज़ी में प्रति शब्द टोकन। एक सैंपल मुफ़्त अरबी टोकन काउंटर में पेस्ट करें, किसी असली अनुरोध के usage से पुष्टि करें, फिर LLM API लागत कैलकुलेटर से मासिक ख़र्च का अनुमान लगाएँ। DeepSeek V4.1 Flash पर किसी बड़े एक बार के localization प्रोजेक्ट के लिए, $15 वाला साप्ताहिक प्लान टोकन मीटर पूरी तरह हटा देता है।
क्या आप कॉन्ट्रैक्ट और टिकट API को भेज सकते हैं?
कॉन्ट्रैक्ट, मेडिकल पत्र और सपोर्ट टिकट में अक्सर निजी डेटा होता है। BroadNet Inference अनुरोध के बाद प्रॉम्प्ट या आउटपुट retain नहीं करता; देखें zero data retention। जाँचें कि आपकी translation memory और logs भी इन्हीं नियमों का पालन करते हैं।
