---
title: "LLM से अरबी टेक्स्ट में हरकतें (tashkeel) कैसे लगाएँ"
description: "LLM API से अरबी हरकतें (tashkeel) वापस लगाएँ: हर अक्षर बचाने वाला प्रॉम्प्ट, बदलाव पकड़ने वाली जाँच, DER और WER स्कोरिंग, और CATT कब चुनें।"
url: https://broadrouter.com/hi/blog/arabic-diacritization-llm/
lang: hi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/blog/arabic-diacritization-llm/) (2026-11-16 को अपडेट किया गया).

# LLM से अरबी टेक्स्ट में हरकतें (तश्कील) लगाना: प्रॉम्प्ट, जाँच, DER

BroadNet Inference टीम · 8 मिनट में पढ़ें · प्रकाशित 2026-11-15 · अपडेट किया गया 2026-11-16

मॉडल से सिर्फ़ पूरी तश्कील माँगें, फिर उसके जवाब से हरकतें हटाकर अपने इनपुट से मिलाएँ। एक भी अक्षर बदला हो तो जवाब रद्द करें और दोबारा भेजें। हाथ से जाँचे सैंपल पर diacritic error rate (DER) और word error rate (WER) निकालें, case endings के साथ और बिना। प्रकाशित नतीजों में GPT-4 सबसे अच्छे समर्पित diacritizers के क़रीब है, पर उनसे पीछे।

## मुख्य बातें

-   LLM से हरकतें लगाने को सुरक्षित बनाने वाला एक नियम: जवाब से हरकतें हटाने पर वह इनपुट के बिल्कुल बराबर होना चाहिए। अगर नहीं है, तो मॉडल ने कोई अक्षर बदला है, और आप जवाब रद्द करते हैं।
-   CATT benchmark (742 समाचार वाक्य) पर CATT encoder-decoder मॉडल का DER, case endings के साथ, 8.624% रहा; GPT-4 का 9.515% और Mishkal का 16.482% (CATT पेपर, 2024)।
-   Case endings सबसे मुश्किल हिस्सा हैं। हर प्रकाशित तालिका DER और WER इनके साथ और बिना, दोनों तरह देती है, और अंतर बड़ा है। अपने टेस्ट में भी दोनों बताइए।
-   हरकतों वाला टेक्स्ट ज़्यादा टोकन लेता है। 2,500 लाइनों वाले Fadel test set पर, हमारे चलाए चार मॉडल tokenizers में, पूरी तश्कील ने बिना हरकत वाले टेक्स्ट के 2.07 से 3.21 गुना टोकन लिए।
-   ज़्यादा वॉल्यूम और तय तरह के टेक्स्ट के लिए CATT (Apache 2.0) जैसा समर्पित open-source diacritizer सस्ता है और अपनी बनावट से ही अक्षर नहीं बदलता। LLM से शुरुआत आसान है और वह अजीब इनपुट भी संभाल लेता है।

**इस पेज पर**

1.  हरकतों की ज़रूरत कब पड़ती है?
2.  LLM हरकतें लगाने में कितने अच्छे हैं?
3.  कौन-से test sets मौजूद हैं?
4.  कौन-सा प्रॉम्प्ट अक्षरों को सुरक्षित रखता है?
5.  हरकतों को कैसे स्कोर करें: DER और WER?
6.  समर्पित diacritizer कब LLM से बेहतर है?
7.  LLM से हरकतें लगाने की लागत क्या है?
8.  BroadNet Inference कहाँ फ़िट होता है

अरबी आमतौर पर छोटे स्वरों के बिना लिखी जाती है। पाठक संदर्भ से उन्हें भर लेता है; सॉफ़्टवेयर अक्सर नहीं भर पाता। उन्हें वापस लगाना, जिसे diacritization या तश्कील (tashkeel) कहते हैं, वाक्य के हिसाब से كتب को كَتَبَ (उसने लिखा), كُتُبٌ (किताबें) या كُتِبَ (लिखा गया) में बदलता है। यह पोस्ट दिखाती है कि OpenAI-compatible API के ज़रिए LLM से यह कैसे करें, मॉडल को चुपचाप आपका टेक्स्ट बदलने से कैसे रोकें, और नतीजे को किसी समर्पित diacritizer से कैसे मापें।

## हरकतों की ज़रूरत कब पड़ती है?

-   **Text-to-speech।** किसी आवाज़ को शब्द बोलने के लिए स्वर चाहिए। CATT पेपर text-to-speech और machine translation को ऐसे उपयोग बताता है जिन्हें हरकतें बेहतर बनाती हैं। BroadNet Inference में text-to-speech endpoint नहीं है, इसलिए TTS पाइपलाइन में हरकतों वाला टेक्स्ट किसी अलग TTS सेवा को जाता है।
-   **सीखने वाले और बच्चों की सामग्री।** जो पाठक अभी सीख रहे हैं, वे इन निशानों पर निर्भर रहते हैं।
-   **अस्पष्ट नाम और शब्द।** व्यक्तिवाचक नाम, कम इस्तेमाल होने वाले शब्द और तकनीकी शब्द, जहाँ एक ग़लत स्वर अर्थ बदल देता है।
-   **धार्मिक और शास्त्रीय टेक्स्ट।** यहाँ निशान टेक्स्ट का हिस्सा हैं, और कोई ऑटोमैटिक टूल सिर्फ़ इंसानी समीक्षा के साथ ख़ाली जगहें भरे।

सर्च या retrieval के लिए आमतौर पर हरकतें नहीं चाहिए। वहाँ आप उन्हें हटाते हैं, जैसा [सर्च के लिए अरबी टेक्स्ट normalization](https://broadrouter.com/hi/blog/arabic-text-normalization-search/) में बताया है। मुफ़्त [अरबी टेक्स्ट normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) यह हटाने का काम ब्राउज़र में ही करता है। हरकतें लगाना इसका उल्टा काम है, और कहीं ज़्यादा मुश्किल: निशान हटाना एक lookup है, जबकि लगाने के लिए व्याकरण और संदर्भ चाहिए।

## LLM हरकतें लगाने में कितने अच्छे हैं?

दो प्रकाशित आँकड़े, सावधानी से पढ़ें:

| सिस्टम | CATT benchmark, DER case endings के साथ | DER बिना | WER case endings के साथ | WER बिना |
| --- | --- | --- | --- | --- |
| CATT encoder-decoder | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT encoder-only | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (पेपर के टेक्स्ट के अनुसार GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |

स्रोत: [CATT पेपर](https://arxiv.org/html/2407.03236v3) (2024) की तालिका 4। कम बेहतर है। Benchmark में 2023 में scrape किए गए 742 समाचार वाक्य हैं, जिन पर दो मातृभाषी विशेषज्ञों ने हरकतें लगाईं और तीसरे ने जाँचा।

पेपर के दूसरे test set, WikiNews (400 वाक्य), पर GPT-4 बाक़ी सबसे कहीं बेहतर रहा: 0.551% DER। लेखक उस पंक्ति को चिह्नित करते हैं और कहते हैं कि शायद मॉडल ने training में WikiNews देखा हो। LLM benchmarks के लिए यही आम चेतावनी है: सार्वजनिक test टेक्स्ट training डेटा में हो सकता है। CATT के लेखक Tashkeela के बारे में भी यही चिंता उठाते हैं, जिसकी किताबों में क़ुरआन और हदीस के बहुत से उद्धरण हैं।

Skiredj और Berrada का 2024 का एक अलग पेपर Fadel et al. benchmark पर GPT-4 का लगभग 20% DER और 30% WER बताता है, लेकिन उतने ब्योरे के बिना जितना ऊपर की तालिका से तुलना के लिए चाहिए।

यानी GPT-4 स्तर के मॉडल किसी समर्पित diacritizer के क़रीब आ सकते हैं, और उससे पीछे भी रह सकते हैं। दोनों पेपर उन open मॉडलों से पहले के हैं जिन्हें आप आज कॉल कर सकते हैं। अपने टेक्स्ट पर मापें।

## कौन-से test sets मौजूद हैं?

| डेटासेट | यह क्या है |
| --- | --- |
| [Tashkeela](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/) | 97 किताबों से 75,629,921 पूरी हरकतों वाले शब्द; 98.85% Shamela लाइब्रेरी की शास्त्रीय अरबी, 1.15% आधुनिक मानक अरबी |
| [Fadel et al. benchmark](https://github.com/AliOsm/arabic-text-diacritization) | Tashkeela से निकाले लगभग 2.3M शब्द; 50,000 training, 2,500 validation और 2,500 test लाइनें |
| CATT benchmark | हाथ से हरकतें लगाए 742 समाचार वाक्य, CATT मॉडलों के साथ जारी |
| WikiNews | हाथ से हरकतें लगाए 400 MSA समाचार वाक्य |

Tashkeela और Fadel set ज़्यादातर शास्त्रीय हैं। अगर आपका टेक्स्ट आधुनिक कारोबारी या समाचार अरबी है, तो CATT और WikiNews sets ज़्यादा क़रीब हैं, और आपके अपने टेक्स्ट का सैंपल सबसे क़रीब।

## कौन-सा प्रॉम्प्ट अक्षरों को सुरक्षित रखता है?

मॉडल का काम निशान जोड़ना है और कुछ नहीं छूना। LLM मदद करना पसंद करते हैं: वे الى को إلى कर देंगे, आख़िरी ى को ي बना देंगे या ग़ायब hamza जोड़ देंगे। हर बदलाव सही अरबी हो सकता है, पर यह वर्तनी सुधार है, हरकतें लगाना नहीं। यह बिना बताए आपका टेक्स्ट बदल देता है।

इसलिए प्रॉम्प्ट नियम बताता है, और कोड उसे लागू करता है: जवाब से हरकतें हटाएँ और हरकतें हटाए इनपुट से मिलाएँ। अगर एक भी अक्षर, स्पेस या विराम चिह्न अलग है, तो जवाब रद्द।

```python
import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))
```

हमने इसे live API पर नहीं, एक लोकल mock सर्वर पर चलाया। पहले वाक्य के लिए उसके पहले से तय जवाब ने दोनों प्रयासों में الى को إلى में “सुधार” दिया, और दूसरे वाक्य का जवाब साफ़ था। आउटपुट यह था:

```text
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
```

कोड पर नोट्स:

-   **पहले Unicode NFC।** hamza एक precomposed अक्षर (أ) के रूप में आ सकता है या एक अक्षर और combining mark के रूप में। NFC तुलना से पहले दोनों तरफ़ को एक जैसा बनाता है। [normalization वाली पोस्ट](https://broadrouter.com/hi/blog/arabic-text-normalization-search/) इस जाल को विस्तार से समझाती है।
-   **`max_tokens=4000`।** BroadNet के docs कहते हैं कि DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले reasoning करते हैं, और reasoning `max_tokens` में गिनी जाती है। बहुत छोटी सीमा ख़ाली जवाब लौटाती है, जिसे जाँच रद्द कर देती है। जगह छोड़ें, या `reasoning_effort` को low करें; देखें [reasoning मॉडलों से ख़ाली जवाब](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/) और [reasoning टोकन बजट कैलकुलेटर](https://broadrouter.com/tools/reasoning-token-budget/)।
-   **जाँच “मौजूदा हरकतें बनाए रखें” को टेस्ट नहीं करती।** अगर आपके इनपुट में कुछ हरकतें पहले से हैं, तो उन निशानों की भी तुलना करें।
-   **वर्तनी एक अलग फ़ैसला है।** अगर आप الى को सुधरवाना चाहते हैं, तो पहले सुधार का चरण चलाएँ, फिर सुधरे टेक्स्ट पर हरकतें लगाएँ। दोनों को मिलाने से किसी की भी जाँच मुमकिन नहीं रहती।
-   **लंबे टेक्स्ट को टुकड़ों में बाँटें।** हर अनुरोध में एक वाक्य या एक पैराग्राफ़ भेजें। CATT ख़ुद इनपुट को 1,024 अक्षरों तक सीमित रखता है और लंबे वाक्यों को विराम चिह्नों पर बाँटता है; यही आदत LLM के जवाब छोटे और दोबारा कोशिशें सस्ती रखती है।

अरबी प्रॉम्प्ट लिखने की आम सलाह के लिए, जिसमें यह भी है कि मॉडल को कब हरकतें न लगाने को कहें, देखें [अरबी प्रॉम्प्ट इंजीनियरिंग](https://broadrouter.com/hi/blog/arabic-prompt-engineering/)।

## हरकतों को कैसे स्कोर करें: DER और WER?

**Diacritic error rate (DER)** उन अक्षरों का हिस्सा है जिनकी हरकतें reference से अलग हैं। **Word error rate (WER)** यहाँ उन शब्दों का हिस्सा है जिनमें कम से कम एक हरकत ग़लत है। यह [हमारी ASR पोस्ट](https://broadrouter.com/hi/blog/arabic-asr-wer-explained/) वाला speech-recognition WER नहीं है; यह ग़लत निशान वाले शब्द गिनता है, जोड़े या छूटे शब्द नहीं।

दो सेटिंग्स आँकड़ों को बहुत बदल देती हैं:

-   **Case endings के साथ या बिना।** शब्द का आख़िरी अक्षर उसका व्याकरणिक case (इराब) रखता है, जो वाक्य-रचना पर निर्भर है। पेपर दोनों सेटिंग्स बताते हैं, क्योंकि बहुत-सी ग़लतियाँ case endings से आती हैं।
-   **बिना हरकत वाले अक्षरों को गिनना।** कुछ scripts बिना निशान वाले अक्षर (जैसे الطالب में alef) को सही “कोई हरकत नहीं” prediction मानकर गिनती हैं; कुछ उसे छोड़ देती हैं। Fadel की scoring script में इसके लिए एक flag है।

प्रकाशित scripts इन फ़ैसलों में अलग हैं, इसलिए सिर्फ़ एक ही script से बने आँकड़ों की तुलना करें। यह script इतनी छोटी है कि पढ़ी जा सके:

```python
import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
```

इस नमूना prediction में 32 अक्षरों और 7 शब्दों में दो ग़लत case endings और एक ग़लत अंदरूनी स्वर है। यह case endings के साथ DER 9.38 और WER 42.86 छापता है, और बिना case endings के DER 4.0 और WER 14.29। देखिए WER कुछ ग़लतियों को कैसे बड़ा करता है: एक ग़लत निशान पूरा शब्द ख़राब कर देता है।

Script उस शब्द को स्कोर करने से मना करती है जिसके अक्षर बदल गए हों। यह जान-बूझकर है। जो diacritizer अक्षर बदलता है, वह काम में फ़ेल हो चुका है, और उसका DER बेमानी होगा।

दूसरी जाँच के तौर पर हमने rule-based diacritizer Mishkal 0.4.1 को 16 शब्दों के एक वाक्य पर चलाया, जिस पर हमने हाथ से हरकतें लगाई थीं। उसकी चारों ग़लतियाँ case endings की थीं, जैसे مُحَمَّدٌ की जगह مُحَمَّدُ। उसका DER case endings के साथ 5.88 और बिना 0.0 रहा। एक वाक्य Mishkal के बारे में कुछ साबित नहीं करता; यह दिखाता है कि दोनों सेटिंग्स क्यों बतानी चाहिए।

Test set बनाने के लिए अपने टेक्स्ट के 100 से 200 वाक्य लें, किसी मातृभाषी से उन पर हरकतें लगवाएँ, निशान हटाएँ, और हर उम्मीदवार को चलाएँ। इंसानी वर्ज़न को gold के रूप में रखें।

## समर्पित diacritizer कब LLM से बेहतर है?

| चुनें | कब |
| --- | --- |
| समर्पित मॉडल (CATT, libtashkeel, Mishkal) | ज़्यादा वॉल्यूम, तय तरह का टेक्स्ट, सख़्त latency, ऑफ़लाइन या on-device इस्तेमाल, या ऐसी ज़रूरत कि आउटपुट अपनी बनावट से अक्षर-दर-अक्षर वही रहे |
| API के ज़रिए LLM | कम या असमान वॉल्यूम, मिला-जुला या गंदा इनपुट, बिना ML ops वाली टीम, या ऐसी पाइपलाइन जो दूसरे चरणों के लिए पहले से LLM कॉल करती है |

समर्पित मॉडल हर अक्षर के लिए एक निशान predict करते हैं, इसलिए वे आपका टेक्स्ट दोबारा नहीं लिख सकते। [CATT](https://github.com/abjadai/catt) Apache 2.0 है और `pip install catt-tashkeel` से इंस्टॉल होता है; उसका README रफ़्तार के लिए encoder-only मॉडल और सटीकता के लिए encoder-decoder की सलाह देता है। [libtashkeel](https://github.com/mush42/libtashkeel) MIT है और मुख्य रूप से MSA पर trained है। [Mishkal](https://pypi.org/project/mishkal/) rule-based और GPL है, जो मायने रखता है अगर आप उसे किसी प्रोडक्ट के अंदर ship करते हैं।

LLM से शुरुआत तेज़ होती है और वह ऐसा इनपुट संभाल लेता है जो किसी trained मॉडल ने कभी नहीं देखा: बोली, मिली-जुली अरबी और अंग्रेज़ी, अजीब विराम चिह्न। उसे हर जवाब पर ऊपर वाली skeleton जाँच चाहिए, और उसकी लागत प्रति टोकन है।

## LLM से हरकतें लगाने की लागत क्या है?

हरकतें अतिरिक्त अक्षर हैं, और tokenizers उन्हें अतिरिक्त टोकन में बाँटते हैं। हमने 2,500 लाइनों वाले Fadel test set (125,098 शब्द) को हर मॉडल के अपने tokenizer से गिना, बिना हरकत वाला टेक्स्ट बनाम पूरी हरकतों वाला टेक्स्ट:

| Tokenizer | बिना हरकत टेक्स्ट | हरकतों के साथ | अनुपात |
| --- | --- | --- | --- |
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |

आप बिना हरकत वाले टेक्स्ट के लिए इनपुट टोकन और हरकतों वाले जवाब के लिए आउटपुट टोकन चुकाते हैं, साथ में reasoning भी। आउटपुट महँगा हिस्सा है: BroadNet के pricing पेज के अनुसार प्रति मिलियन टोकन [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) पर $2.17, [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) पर $0.52, [GLM 5.3](https://broadrouter.com/hi/models/glm-5.3/) पर $3.46 और [Gemma 4 VL 26B](https://broadrouter.com/hi/models/gemma-4-vl-26b/) पर $0.22। जाँच फ़ेल होने के बाद की दोबारा कोशिशें और जोड़ती हैं। अपने डेटा पर अनुपात देखने के लिए अपना टेक्स्ट [अरबी टोकन काउंटर](https://broadrouter.com/tools/arabic-token-counter/) में पेस्ट करें, और अरबी शुरू से ही ज़्यादा टोकन क्यों लेती है, यह [अरबी और अंग्रेज़ी में प्रति शब्द टोकन](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/) में देखें।

किसी बड़े archive पर एक बार के काम के लिए, DeepSeek V4.1 Flash प्लान मीटर की जगह प्रति सेशन फ़्लैट कीमत रखते हैं ($15 प्रति हफ़्ता या $1 प्रति घंटा); हर सेशन एक समय में एक अनुरोध चलाता है, इसलिए रन की योजना वैसे बनाएँ जैसे [batch API के बिना batch processing](https://broadrouter.com/hi/blog/llm-batch-processing-without-batch-api/) में बताया है।

## BroadNet Inference कहाँ फ़िट होता है

BroadRouter, BroadNet की अपनी साइट है। BroadNet Inference ऊपर के चारों चैट मॉडल एक OpenAI-compatible endpoint से देता है, इसलिए base URL और key सेट करने के बाद कोड [OpenAI Python SDK](https://broadrouter.com/hi/guides/openai-python-sdk/) के साथ चलता है। Gemma 4 VL 26B $5 के शुरुआती क्रेडिट पर चलता है; DeepSeek, GLM और Qwen के लिए टॉप-अप चाहिए। BroadNet के पास हरकतें लगाने का कोई endpoint नहीं है, वह हरकतों का अपना कोई benchmark प्रकाशित नहीं करता और उसके पास text-to-speech नहीं है। उसके कौन-से मॉडल आपके टेक्स्ट पर सबसे अच्छी हरकतें लगाते हैं, यह मापा नहीं गया है: चुनने से पहले उन्हें अपने सैंपल पर स्कोर करें। अनुरोध के ब्योरे के लिए [API रेफ़रंस](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-arabic-diacritization-llm&utm_content=body) देखें।

इस विषय के मुफ़्त टूल (अंग्रेज़ी में)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[मुफ़्त टूल (अंग्रेज़ी में)](https://broadrouter.com/tools/)

## इस लेख के शब्द

[वर्ड एरर रेट (WER)](https://broadrouter.com/hi/glossary/word-error-rate/)

वर्ड एरर रेट (WER) स्पीच रिकग्निशन की सटीकता का मानक पैमाना है: ट्रांसक्रिप्ट को सही रेफ़रंस में बदलने के लिए ज़रूरी शब्दों के substitutions, deletions और insertions की संख्या, जिसे रेफ़रंस के कुल शब्दों से भाग दिया जाता है। जितना कम, उतना बेहतर।

[टोकन (token)](https://broadrouter.com/hi/glossary/token/)

टोकन टेक्स्ट की वह इकाई है जिसे लैंग्वेज मॉडल पढ़ता और लिखता है: कोई शब्द, शब्द का हिस्सा, विराम चिह्न या बाइट का क्रम, जो मॉडल का टोकनाइज़र बनाता है। LLM API इस्तेमाल को टोकन में गिनते हैं, उसी में लिमिट लगाते हैं और आम तौर पर बिल भी बनाते हैं।

[हम्ज़ा (hamza)](https://broadrouter.com/hi/glossary/hamza/)

हम्ज़ा (ء) ग्लॉटल स्टॉप के लिए अरबी अक्षर है। यह अकेले या किसी कुर्सी पर लिखा जाता है: अलिफ़ (أ إ), वाव (ؤ) या ये (ئ), और آ अलिफ़ को मद्दा के साथ जोड़ता है। टाइप किए टेक्स्ट में यह एक-सा नहीं लिखा जाता, सो सर्च इंजन और स्पीच स्कोरिंग अक्सर अलिफ़ वाले रूपों को ا में बदल देते हैं।

[टूल कॉलिंग (tool calling)](https://broadrouter.com/hi/glossary/tool-calling/)

टूल कॉलिंग, जिसे function calling भी कहते हैं, LLM API की वह सुविधा है जिसमें मॉडल डेवलपर के तय किए किसी फ़ंक्शन को चलाने का एक स्ट्रक्चर्ड अनुरोध, JSON आर्ग्युमेंट के साथ, लौटाता है। ऐप्लिकेशन फ़ंक्शन चलाकर नतीजा वापस भेजता है; मॉडल ख़ुद कभी कोड नहीं चलाता।

[टोकनाइज़र (tokenizer)](https://broadrouter.com/hi/glossary/tokenizer/)

टोकनाइज़र वह हिस्सा है जो टेक्स्ट को इंटीजर टोकन ID के उस क्रम में बदलता है जिसे लैंग्वेज मॉडल पढ़ता है, और जनरेट हुई ID को वापस टेक्स्ट में बदलता है। हर मॉडल अपने टोकनाइज़र के साथ आता है, इसलिए एक ही टेक्स्ट अलग-अलग मॉडलों पर अलग संख्या में टोकन बना सकता है।

[मानक आधुनिक अरबी (Modern Standard Arabic, MSA)](https://broadrouter.com/hi/glossary/msa/)

Modern Standard Arabic (MSA) अरबी का मानक रूप है, जो पूरी अरब दुनिया में लेखन, समाचार, शिक्षा और औपचारिक भाषण में इस्तेमाल होता है। यह किसी की रोज़मर्रा की मातृभाषा नहीं है: लोग मिस्री या खाड़ी अरबी जैसी क्षेत्रीय बोलियाँ बोलते हैं और औपचारिक मौक़ों पर MSA अपनाते हैं।

[अरबी डायक्रिटिक्स (tashkeel)](https://broadrouter.com/hi/glossary/arabic-diacritics/)

अरबी डायक्रिटिक्स, या tashkeel, अक्षरों के ऊपर या नीचे लगने वाले छोटे चिह्न हैं जो छोटे स्वर, दोहरे व्यंजन और स्वर के न होने को दिखाते हैं। ये वैकल्पिक हैं: ख़बरों समेत ज़्यादातर अरबी टेक्स्ट इन्हें छोड़ देता है, इसलिए पाठक और सॉफ़्टवेयर संदर्भ से स्वर का अंदाज़ा लगाते हैं।

[इनपुट और आउटपुट टोकन (input and output tokens)](https://broadrouter.com/hi/glossary/input-and-output-tokens/)

इनपुट टोकन वे टोकन हैं जिन्हें लैंग्वेज मॉडल किसी अनुरोध में पढ़ता है, जिनमें सिस्टम प्रॉम्प्ट, बातचीत का इतिहास, टूल डेफ़िनिशन और इमेज शामिल हैं। आउटपुट टोकन वे हैं जो वह जवाब में बनाता है, रीज़निंग समेत। LLM API आम तौर पर दोनों की कीमत अलग रखते हैं, और आउटपुट आम तौर पर महँगा होता है।

## अक्सर पूछे जाने वाले सवाल

### Python में अरबी टेक्स्ट पर हरकतें कैसे लगाऊँ?

दो रास्ते हैं। catt-tashkeel (Apache 2.0) या mishkal (GPL) जैसा समर्पित diacritizer इंस्टॉल करके लोकल चलाएँ, या टेक्स्ट ऐसे प्रॉम्प्ट के साथ LLM को भेजें जो सिर्फ़ तश्कील माँगे। LLM के साथ हमेशा जाँचें कि जवाब से हरकतें हटाने पर वह आपके इनपुट के बराबर है।

### क्या ChatGPT या GPT-4 अरबी में हरकतें लगाने में अच्छा है?

कुछ टेस्ट में सबसे अच्छे समर्पित सिस्टम के क़रीब, कुछ में उनसे पीछे। CATT पेपर ने अपने समाचार benchmark पर GPT-4 का DER, case endings के साथ, 9.515% मापा, जबकि उसके अपने मॉडल का 8.624%। 2024 का एक और पेपर Fadel benchmark पर GPT-4 का लगभग 20% DER बताता है। अपने टेक्स्ट पर टेस्ट करें।

### हरकतों के लिए DER और WER में क्या फ़र्क़ है?

DER उन अक्षरों का हिस्सा है जिनकी हरकतें ग़लत हैं। WER उन शब्दों का हिस्सा है जिनमें कम से कम एक हरकत ग़लत है, इसलिए यह हमेशा ज़्यादा होता है। दोनों case endings (हर शब्द का आख़िरी अक्षर) के साथ और बिना बताए जाते हैं।

### तश्कील लगाते समय मेरा LLM अक्षर क्यों बदल देता है?

वह वर्तनी भी सुधारता है: الى को إلى बना देता है, ى को ي कर देता है, ग़ायब hamza जोड़ देता है। यह सही हो सकता है, पर यह सुधार है, हरकतें लगाना नहीं, और इससे अक्षर-दर-अक्षर स्कोरिंग टूट जाती है। मॉडल को ऐसा न करने को कहें, हर जवाब जाँचें, और अगर वर्तनी सुधार चाहिए तो उसे अलग चरण में चलाएँ।

### क्या BroadNet हरकतों वाला टेक्स्ट पढ़कर सुना सकता है?

नहीं। BroadNet Inference में text-to-speech endpoint नहीं है। यह चैट मॉडल और speech-to-text देता है। अगर हरकतें लगाना किसी TTS पाइपलाइन का पहला हिस्सा है, तो नतीजा किसी अलग TTS सेवा को भेजें।

## आगे पढ़ें

-   [सर्च और RAG के लिए अरबी टेक्स्ट normalization: क्या बदलें, क्या नहीं](https://broadrouter.com/hi/blog/arabic-text-normalization-search/)
-   [अरबी प्रॉम्प्ट इंजीनियरिंग: register, RTL, अंक और मिला-जुला टेक्स्ट](https://broadrouter.com/hi/blog/arabic-prompt-engineering/)
-   [अरबी बनाम अंग्रेज़ी में प्रति शब्द टोकन: अरबी महँगी क्यों पड़ती है](https://broadrouter.com/hi/blog/tokens-per-word-arabic-english/)
-   [LLM से अरबी named entity extraction: JSON, तारीख़ें और जाँच](https://broadrouter.com/hi/blog/arabic-named-entity-extraction-llm/)
-   [अरबी के लिए LLM API कैसे चुनें: क्या-क्या टेस्ट करें](https://broadrouter.com/hi/blog/choosing-an-llm-for-arabic/)
-   [Batch API के बिना LLM बैच प्रोसेसिंग: दोबारा शुरू होने वाला runner](https://broadrouter.com/hi/blog/llm-batch-processing-without-batch-api/)
-   [LLM से अरबी व्याकरण और वर्तनी सुधार: एक how-to](https://broadrouter.com/hi/blog/arabic-grammar-spelling-correction-llm/)
-   [अरबी रिकॉर्डिंग से मीटिंग मिनट्स: एक API पाइपलाइन](https://broadrouter.com/hi/blog/arabic-meeting-minutes-from-recordings/)
-   [अरबी OCR API की तुलना: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/hi/blog/arabic-ocr-api-comparison/)
-   [गाइड: BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/)
-   [गाइड: रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-arabic-diacritization-llm&utm_content=page-cta) ·

**स्रोत**

-   [Alasmary, Zaafarani और Ghannam, CATT: Character-based Arabic Tashkeel Transformer (arXiv 2407.03236v3), तालिका 4 और 5, डेटासेट का आकार, 1,024 अक्षरों की इनपुट सीमा (2026-11-15 को जाँचा गया)](https://arxiv.org/html/2407.03236v3)
-   [GitHub पर abjadai/catt: Apache 2.0 लाइसेंस, pip पैकेज catt-tashkeel, encoder-only बनाम encoder-decoder मॉडल (2026-11-15 को जाँचा गया)](https://github.com/abjadai/catt)
-   [Fadel et al., Arabic Text Diacritization Using Deep Neural Networks (arXiv 1905.01965): Tashkeela से 55K लाइनें, लगभग 2.3M शब्द (2026-11-15 को जाँचा गया)](https://arxiv.org/abs/1905.01965)
-   [GitHub पर AliOsm/arabic-text-diacritization: 50,000 / 2,500 / 2,500 लाइनों का बँटवारा, MIT लाइसेंस, diacritization\_stat.py (2026-11-15 को जाँचा गया)](https://github.com/AliOsm/arabic-text-diacritization)
-   [Zerrouki और Balla, Tashkeela: Novel corpus of Arabic vocalized texts, Data in Brief 2017: 75,629,921 शब्द, 97 किताबें, 98.85% शास्त्रीय (2026-11-15 को जाँचा गया)](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/)
-   [Skiredj और Berrada, Arabic Text Diacritization in the Age of Transfer Learning (arXiv 2401.04848): Fadel benchmark पर GPT-4 का लगभग 20% DER और 30% WER बताता है (2026-11-15 को जाँचा गया)](https://arxiv.org/html/2401.04848v1)
-   [PyPI पर Mishkal: वर्ज़न 0.4.1, GPL, TashkeelClass का इस्तेमाल (2026-11-15 को जाँचा गया)](https://pypi.org/project/mishkal/)
-   [GitHub पर mush42/libtashkeel: हरकतें वापस लगाने की लाइब्रेरी, MIT लाइसेंस, मॉडल मुख्य रूप से MSA पर trained (2026-11-15 को जाँचा गया)](https://github.com/mush42/libtashkeel)
-   [BroadNet Inference API रेफ़रंस: मॉडल IDs, reasoning max\_tokens में गिनी जाती है, reasoning\_effort, endpoints (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-blog-arabic-diacritization-llm&utm_content=sources)
