---
title: "التشكيل الآلي للنص العربي بنموذج LLM | BroadRouter"
description: "أعِد التشكيل إلى النص العربي عبر API لنموذج LLM: أمر يحفظ كل حرف، وتحقق يرفض أي تعديل، وقياس بمعدلي DER وWER، ومتى تختار CATT بدلًا منه."
url: https://broadrouter.com/ar/blog/arabic-diacritization-llm/
lang: ar
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

تُرجمت هذه الصفحة من الإنجليزية بمساعدة الذكاء الاصطناعي. [اقرأ الأصل الإنجليزي](https://broadrouter.com/blog/arabic-diacritization-llm/) (حُدّث في 2026-11-16).

# تشكيل النص العربي بنموذج LLM: الأمر والتحقق ومعدل DER

بقلم فريق BroadNet Inference · قراءة في 8 دقائق · تاريخ النشر 2026-11-15 · آخر تحديث 2026-11-16

لتشكيل النص العربي بنموذج LLM، اطلب منه التشكيل الكامل ولا شيء غيره، ثم احذف الحركات من رده وقارنه بنصك الأصلي. أي حرف تغيّر يعني رفض الرد وإعادة المحاولة. وقيّم عينة مراجَعة يدويًا بمعدل خطأ التشكيل (DER) ومعدل خطأ الكلمات (WER)، مع أواخر الكلمات ومن دونها. وتضع النتائج المنشورة GPT-4 قريبًا من أفضل أدوات التشكيل المخصصة، لكن خلفها.

## أبرز النقاط

-   القاعدة الوحيدة التي تجعل التشكيل بنموذج LLM آمنًا: الرد بعد حذف حركاته يجب أن يطابق المدخل حرفًا بحرف. وإن لم يطابقه، فقد غيّر النموذج حرفًا، فارفضه.
-   على معيار CATT (742 جملة إخبارية)، سجّل نموذج CATT من نوع encoder-decoder معدل DER قدره 8.624% مع أواخر الكلمات، مقابل 9.515% لـGPT-4 و16.482% لمشكال (ورقة CATT، 2024).
-   أواخر الكلمات (الإعراب) هي الجزء الصعب. كل جدول منشور يعرض DER وWER معها ومن دونها، والفارق كبير. اعرض الحالتين في اختباراتك أنت أيضًا.
-   النص المشكول يكلّف رموزًا أكثر. على مجموعة اختبار Fadel ذات 2,500 سطر، استهلك التشكيل الكامل ما بين 2.07 و3.21 ضعف رموز النص المجرد، عبر أربعة مُقسِّمات رموز لنماذج جرّبناها.
-   للأحجام الكبيرة وأنواع النصوص الثابتة، تكون أداة تشكيل مفتوحة المصدر مخصصة مثل CATT (Apache 2.0) أرخص، وتحفظ الحروف بحكم تصميمها. أما نموذج LLM فأسهل في البداية ويتعامل مع المدخلات غير المألوفة.

**في هذه الصفحة**

1.  متى تحتاج إلى التشكيل؟
2.  ما مدى جودة نماذج LLM في التشكيل؟
3.  ما مجموعات الاختبار المتاحة؟
4.  أي أمر يحفظ الحروف كما هي؟
5.  كيف تقيس جودة التشكيل: DER وWER؟
6.  متى تتفوق أداة تشكيل مخصصة على نموذج LLM؟
7.  كم يكلّف التشكيل بنموذج LLM؟
8.  أين تناسب BroadNet Inference

تُكتب العربية عادةً من دون حركات قصيرة. يستنتجها القارئ من السياق، أما البرامج فكثيرًا ما تعجز عن ذلك. واستعادتها، أي التشكيل، تحوّل كتب إلى كَتَبَ أو كُتُبٌ أو كُتِبَ بحسب الجملة. يشرح هذا المقال كيف تفعل ذلك بنموذج LLM عبر API متوافقة مع OpenAI، وكيف تمنع النموذج من تغيير نصك خلسة، وكيف تقيس النتيجة مقارنة بأداة تشكيل مخصصة.

## متى تحتاج إلى التشكيل؟

-   **تحويل النص إلى كلام.** يحتاج الصوت الاصطناعي إلى الحركات لينطق الكلمة. وتذكر ورقة CATT تحويل النص إلى كلام والترجمة الآلية بين التطبيقات التي يحسّنها التشكيل. وليست لدى BroadNet Inference نقطة نهاية لتحويل النص إلى كلام، لذا يذهب النص المشكول في خط TTS إلى خدمة TTS منفصلة.
-   **المتعلمون ومواد الأطفال.** القرّاء الذين ما زالوا يتعلمون يعتمدون على الحركات.
-   **الأسماء والمصطلحات الملتبسة.** أسماء الأعلام والكلمات النادرة والمصطلحات التقنية التي تغيّر فيها الحركة الخاطئة المعنى.
-   **النصوص الدينية والتراثية.** هنا الحركات جزء من النص، ويجب ألا تملأ الأداة الآلية إلا الفجوات، وتحت مراجعة بشرية.

أما في البحث والاسترجاع فلا تريد التشكيل عادةً، بل تحذفه، كما في [توحيد النص العربي للبحث](https://broadrouter.com/ar/blog/arabic-text-normalization-search/). وتؤدي [أداة توحيد النص العربي](https://broadrouter.com/tools/arabic-text-normalizer/) المجانية هذا الحذف في المتصفح. أما التشكيل فهو العملية المعاكسة، وأصعب بكثير: حذف الحركات مجرد بحث في جدول، بينما إضافتها تحتاج إلى النحو والسياق.

## ما مدى جودة نماذج LLM في التشكيل؟

رقمان منشوران، يُقرآن بحذر:

| النظام | معيار CATT، DER مع أواخر الكلمات | DER من دونها | WER مع أواخر الكلمات | WER من دونها |
| --- | --- | --- | --- | --- |
| CATT encoder-decoder | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT encoder-only | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (GPT-4-turbo بحسب نص الورقة) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| مشكال (Mishkal) | 16.482% | 10.796% | 60.844% | 40.215% |

المصدر: الجدول 4 من [ورقة CATT](https://arxiv.org/html/2407.03236v3) (2024). الأقل أفضل. والمعيار 742 جملة إخبارية جُمعت من الويب في 2023، شكّلها خبيران من الناطقين الأصليين وراجعها ثالث.

وعلى مجموعة الاختبار الثانية في الورقة، WikiNews (400 جملة)، سجّل GPT-4 نتيجة أفضل بكثير من الجميع: 0.551% DER. ويميّز المؤلفون هذا الصف ويرجّحون أن النموذج ربما رأى WikiNews أثناء تدريبه. وهذا هو التحذير العام في معايير نماذج LLM: نصوص الاختبار العامة قد تكون ضمن بيانات التدريب. ويثير مؤلفو CATT القلق نفسه بشأن Tashkeela، إذ تحوي كتبها اقتباسات كثيرة من القرآن والحديث.

وتذكر ورقة منفصلة من 2024 لـSkiredj وBerrada أن GPT-4 سجّل نحو 20% DER و30% WER على معيار Fadel وآخرين، من دون التفاصيل التي نحتاجها لمقارنتها بالجدول أعلاه.

إذن قد تقترب النماذج من فئة GPT-4 من أداة تشكيل مخصصة، وقد تتأخر عنها أيضًا. والورقتان سابقتان للنماذج المفتوحة التي يمكنك استدعاؤها اليوم. قِس على نصك أنت.

## ما مجموعات الاختبار المتاحة؟

| مجموعة البيانات | ما هي |
| --- | --- |
| [Tashkeela](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/) | 75,629,921 كلمة مشكولة بالكامل من 97 كتابًا؛ 98.85% عربية تراثية من المكتبة الشاملة، و1.15% عربية فصحى حديثة |
| [معيار Fadel وآخرين](https://github.com/AliOsm/arabic-text-diacritization) | نحو 2.3 مليون كلمة مستخرجة من Tashkeela؛ 50,000 سطر للتدريب، و2,500 للتحقق، و2,500 للاختبار |
| معيار CATT | 742 جملة إخبارية مشكولة يدويًا، نُشرت مع نماذج CATT |
| WikiNews | 400 جملة إخبارية بالفصحى الحديثة، مشكولة يدويًا |

يغلب على Tashkeela ومجموعة Fadel النص التراثي. فإن كان نصك عربية حديثة في الأعمال أو الأخبار، فمجموعتا CATT وWikiNews أقرب إليه، وعينة من نصك أنت هي الأقرب.

## أي أمر يحفظ الحروف كما هي؟

مهمة النموذج إضافة الحركات وعدم لمس أي شيء آخر. لكن نماذج LLM تحب المساعدة، فتصحح «الى» إلى «إلى»، وتغيّر ى الأخيرة إلى ي، أو تضيف همزة ناقصة. قد يكون كل ذلك عربية صحيحة، لكنه تصحيح إملائي لا تشكيل. إنه يغيّر نصك من دون أن يخبرك.

لذلك ينص الأمر على القاعدة، وتفرضها الشيفرة: احذف الحركات من الرد وقارنه بالمدخل بعد حذف حركاته. فإن اختلف حرف أو مسافة أو علامة ترقيم واحدة، يُرفض الرد.

```python
import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))
```

شغّلنا هذا على خادم محاكاة محلي، لا على الواجهة الحية. ردّه المعدّ مسبقًا على الجملة الأولى «صحّح» «الى» إلى «إلى» في المحاولتين، وكان ردّه على الثانية سليمًا. وكان الناتج:

```text
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
```

ملاحظات على الشيفرة:

-   **توحيد Unicode بصيغة NFC أولًا.** قد تصل الهمزة حرفًا واحدًا مركّبًا مسبقًا (أ) أو حرفًا مع علامة مركّبة. وتجعل NFC الطرفين متطابقين قبل المقارنة. ويشرح [مقال التوحيد](https://broadrouter.com/ar/blog/arabic-text-normalization-search/) هذا الفخ بالتفصيل.
-   **`max_tokens=4000`.** تقول وثائق BroadNet إن DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تستدل قبل الإجابة، وإن الاستدلال يُحتسب ضمن `max_tokens`. والحد الصغير جدًا يعيد ردًا فارغًا، فيرفضه التحقق. اترك مساحة كافية، أو اضبط `reasoning_effort` على low؛ انظر [الردود الفارغة من نماذج الاستدلال](https://broadrouter.com/ar/guides/reasoning-tokens-empty-response/) و[أداة ميزانية رموز الاستدلال](https://broadrouter.com/tools/reasoning-token-budget/).
-   **التحقق لا يختبر شرط «احتفظ بالحركات الموجودة».** فإن كان مدخلك مشكولًا جزئيًا، فقارن تلك الحركات أيضًا.
-   **الإملاء قرار منفصل.** إن أردت تصحيح «الى»، فشغّل خطوة التصحيح أولًا، ثم شكّل النص المصحَّح. والخلط بين الخطوتين يجعل التحقق من أيٍّ منهما مستحيلًا.
-   **قسّم النص الطويل.** أرسل جملة أو فقرة في كل طلب. فـCATT نفسها تحدّ المدخل بـ1,024 حرفًا وتقسم الجمل الطويلة عند علامات الترقيم؛ والعادة نفسها تبقي ردود نموذج LLM قصيرة وإعادة المحاولة رخيصة.

وللنصائح العامة في كتابة الأوامر العربية، بما فيها متى تطلب من النموذج ألا يضيف التشكيل، انظر [هندسة الأوامر للعربية](https://broadrouter.com/ar/blog/arabic-prompt-engineering/).

## كيف تقيس جودة التشكيل: DER وWER؟

**معدل خطأ التشكيل (DER)** هو نسبة الحروف التي يختلف تشكيلها عن المرجع. و**معدل خطأ الكلمات (WER)** هنا هو نسبة الكلمات التي فيها حركة خاطئة واحدة على الأقل. وهو غير WER الخاص بالتعرّف على الكلام في [مقالنا عن ASR](https://broadrouter.com/ar/blog/arabic-asr-wer-explained/)؛ فهو يعدّ الكلمات ذات الحركة الخاطئة، لا الكلمات المُدرجة أو المحذوفة.

إعدادان يغيّران الأرقام كثيرًا:

-   **مع أواخر الكلمات أو من دونها.** يحمل الحرف الأخير من الكلمة حالتها الإعرابية، وهي تتبع التركيب النحوي. وتعرض الأوراق الإعدادين معًا، لأن أواخر الكلمات مصدر كثير من الأخطاء.
-   **احتساب الحروف التي بلا حركة.** بعض السكربتات تعدّ الحرف المجرد (مثل الألف في الطالب) تنبؤًا صحيحًا بـ«لا حركة»، وبعضها يتخطاه. ولسكربت القياس الخاص بـFadel خيار لهذا.

تختلف السكربتات المنشورة في هذه الاختيارات، فلا تقارن إلا أرقامًا أنتجها السكربت نفسه. وهذا السكربت قصير بما يكفي لقراءته:

```python
import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
```

في التنبؤ التجريبي خطآن في أواخر الكلمات وحركة داخلية خاطئة واحدة، عبر 32 حرفًا و7 كلمات. فيطبع DER 9.38 وWER 42.86 مع أواخر الكلمات، وDER 4.0 وWER 14.29 من دونها. ولاحظ كيف يضخّم WER الأخطاء القليلة: حركة خاطئة واحدة تُفسد الكلمة كلها.

ويرفض السكربت قياس كلمة تغيّرت حروفها. وهذا مقصود. فأداة التشكيل التي تعدّل الحروف فشلت في المهمة، ولن يكون لمعدل DER الخاص بها معنى.

وكتحقق ثانٍ، شغّلنا مشكال 0.4.1، وهو أداة تشكيل قائمة على القواعد، على جملة واحدة من 16 كلمة شكّلناها يدويًا. كانت أخطاؤه الأربعة كلها في أواخر الكلمات، مثل مُحَمَّدُ بدلًا من مُحَمَّدٌ. فسجّل DER 5.88 مع أواخر الكلمات و0.0 من دونها. جملة واحدة لا تثبت شيئًا عن مشكال؛ لكنها تبيّن لماذا تعرض الإعدادين معًا.

ولبناء مجموعة اختبار، خذ من 100 إلى 200 جملة من نصك أنت، واطلب من ناطق أصلي تشكيلها، ثم احذف الحركات، وشغّل كل مرشّح. واحتفظ بالنسخة البشرية مرجعًا.

## متى تتفوق أداة تشكيل مخصصة على نموذج LLM؟

| اختر | حين |
| --- | --- |
| نموذجًا مخصصًا (CATT أو libtashkeel أو مشكال) | حجم كبير، أو نوع نص ثابت، أو زمن استجابة صارم، أو استخدام دون اتصال أو على الجهاز، أو حاجة إلى مخرجات تطابق الحروف حرفًا بحرف بحكم التصميم |
| نموذج LLM عبر API | حجم منخفض أو متقلب، أو مدخلات مختلطة أو فوضوية، أو فريق بلا عمليات تعلم آلي، أو خط معالجة يستدعي نموذج LLM أصلًا لخطوات أخرى |

تتنبأ النماذج المخصصة بحركة لكل حرف، فلا تستطيع إعادة كتابة نصك. [CATT](https://github.com/abjadai/catt) مرخّصة بـApache 2.0 وتُثبَّت بالأمر `pip install catt-tashkeel`، ويوصي ملف README الخاص بها بنموذج encoder-only للسرعة وencoder-decoder للدقة. و[libtashkeel](https://github.com/mush42/libtashkeel) مرخّصة بـMIT ومدرّبة أساسًا على الفصحى الحديثة. أما [مشكال](https://pypi.org/project/mishkal/) فقائم على القواعد ومرخّص بـGPL، وهذا مهم إن كنت ستضمّنه في منتج.

ونموذج LLM أسرع في البداية، ويتعامل مع مدخلات لم يرها نموذج مدرَّب قط: اللهجات، والعربية المختلطة بالإنجليزية، وعلامات الترقيم الغريبة. لكنه يحتاج إلى تحقق الهيكل أعلاه على كل رد، ويكلّف لكل رمز.

## كم يكلّف التشكيل بنموذج LLM؟

الحركات حروف إضافية، ومُقسِّمات الرموز تقطّعها إلى رموز (توكنز) إضافية. عددنا رموز مجموعة اختبار Fadel ذات 2,500 سطر (125,098 كلمة) بمُقسِّم كل نموذج، للنص المجرد مقابل النص المشكول بالكامل:

| مُقسِّم الرموز | النص المجرد | المشكول | النسبة |
| --- | --- | --- | --- |
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |

تدفع رموز إدخال للنص المجرد ورموز إخراج للرد المشكول، إضافة إلى أي استدلال. والإخراج هو الجانب المكلف: $2.17 لكل مليون رمز على [Qwen3.8 27B](https://broadrouter.com/ar/models/qwen3.8-27b/)، و$0.52 على [DeepSeek V4.1 Flash](https://broadrouter.com/ar/models/deepseek-v4.1-flash/)، و$3.46 على [GLM 5.3](https://broadrouter.com/ar/models/glm-5.3/)، و$0.22 على [Gemma 4 VL 26B](https://broadrouter.com/ar/models/gemma-4-vl-26b/)، بحسب صفحة أسعار BroadNet. وإعادة المحاولة بعد فشل التحقق تضيف المزيد. الصق نصك في [عدّاد الرموز العربية](https://broadrouter.com/tools/arabic-token-counter/) لتتحقق من النسبة على بياناتك، وانظر [عدد الرموز لكل كلمة في العربية والإنجليزية](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/) لتعرف لماذا تكلّف العربية رموزًا أكثر من الأساس.

ولمهمة لمرة واحدة على أرشيف كبير، تستبدل خطط DeepSeek V4.1 Flash العدّاد بسعر ثابت لكل جلسة ($15 أسبوعيًا أو $1 للساعة)؛ وكل جلسة تشغّل طلبًا واحدًا في كل مرة، فخطّط للتشغيل كما في [المعالجة بالجملة من دون Batch API](https://broadrouter.com/ar/blog/llm-batch-processing-without-batch-api/).

## أين تناسب BroadNet Inference

BroadRouter هو موقع BroadNet نفسها. تقدم BroadNet Inference نماذج المحادثة الأربعة أعلاه عبر نقطة نهاية واحدة متوافقة مع OpenAI، فتعمل الشيفرة مع [OpenAI Python SDK](https://broadrouter.com/ar/guides/openai-python-sdk/) بعد ضبط عنوان base URL والمفتاح. يعمل Gemma 4 VL 26B على الرصيد الابتدائي $5؛ أما DeepSeek وGLM وQwen فتحتاج إلى شحن الرصيد. ليست لدى BroadNet نقطة نهاية للتشكيل، ولا تنشر معيار تشكيل خاصًا بها، ولا تقدم تحويل النص إلى كلام. وأيّ نماذجها يشكّل نصك أفضل أمر لم يُقَس: قيّمها على عينتك قبل أن تختار. وانظر [المرجع التقني](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-arabic-diacritization-llm&utm_content=body) لتفاصيل الطلبات.

أدوات مجانية لهذا الموضوع (بالإنجليزية)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[أدوات مجانية (بالإنجليزية)](https://broadrouter.com/tools/)

## مصطلحات في هذا المقال

[التشكيل (الحركات العربية، Arabic diacritics)](https://broadrouter.com/ar/glossary/arabic-diacritics/)

التشكيل هو علامات صغيرة تُكتب فوق الحروف العربية أو تحتها لبيان الحركات القصيرة والحروف المضعّفة وغياب الحركة. وهو اختياري: تخلو منه معظم النصوص العربية، ومنها الأخبار، فيستنتج القرّاء والبرمجيات الحركات من السياق.

[الرمز (التوكن، Token)](https://broadrouter.com/ar/glossary/token/)

الرمز (التوكن) هو وحدة النص التي يقرؤها نموذج اللغة ويكتبها: كلمة، أو جزء من كلمة، أو علامة ترقيم، أو تسلسل بايتات ينتجه مجزّئ النموذج (tokenizer). وتَعُدّ واجهات LLM API الاستهلاك بالرموز، وتضع حدودها بها، وتحتسب تكلفتها بها عادةً.

[معدل الخطأ في الكلمات (WER)](https://broadrouter.com/ar/glossary/word-error-rate/)

معدل الخطأ في الكلمات (WER) هو مقياس الدقة المعياري للتعرّف على الكلام: عدد استبدالات الكلمات وحذوفاتها وإدراجاتها اللازمة لتحويل النص المفرّغ إلى النص المرجعي الصحيح، مقسومًا على عدد كلمات المرجع. والأقل أفضل.

[استدعاء الأدوات (Tool calling)](https://broadrouter.com/ar/glossary/tool-calling/)

استدعاء الأدوات، ويُسمّى أيضًا استدعاء الدوال (function calling)، ميزة في واجهات LLM API يُرجع فيها النموذج طلبًا منظَّمًا لتشغيل دالة عرّفها المطوّر، مع معاملات بصيغة JSON. ويشغّل التطبيق الدالة ويعيد النتيجة؛ فالنموذج لا يشغّل الشيفرة بنفسه أبدًا.

[العنوان الأساسي (Base URL)](https://broadrouter.com/ar/glossary/base-url/)

العنوان الأساسي (base URL) هو الجذر الثابت لعنوان الواجهة، مثل https://api.example.com/v1، الذي يضعه العميل قبل كل مسار نقطة نهاية، مثل /chat/completions. وفي حزم SDK المتوافقة مع OpenAI، يكفي تغيير العنوان الأساسي، مع مفتاح API ومعرّف النموذج، لتوجيه الشيفرة نفسها إلى مزوّد آخر.

[تحويل النص إلى كلام (TTS)](https://broadrouter.com/ar/glossary/text-to-speech/)

تحويل النص إلى كلام (TTS)، أو تركيب الكلام، يحوّل النص المكتوب إلى صوت منطوق. تستقبل واجهة TTS نصًا وصوتًا وصيغة مخرجات مثل MP3 أو WAV، وتُرجع كلامًا مولَّدًا. وهو عكس تحويل الصوت إلى نص، الذي يحوّل الصوت إلى نص.

[توحيد النص العربي (Arabic text normalization)](https://broadrouter.com/ar/glossary/arabic-text-normalization/)

توحيد النص العربي هو الخطوة التي تحوّل الصيغ الإملائية المختلفة للكلمة نفسها إلى صيغة واحدة قبل المطابقة: حذف التشكيل والتطويل، وتوحيد أشكال الألف، وغالبًا تحويل ى إلى ي وة إلى ه. ويُطبَّق على مفاتيح البحث والتقييم، لا على النص الذي تعرضه.

[توحيد Unicode (Unicode normalization)](https://broadrouter.com/ar/glossary/unicode-normalization/)

توحيد Unicode هو تحويل النص إلى صيغة معيارية بحيث تستخدم السلاسل التي تبدو متطابقة نقاط الترميز نفسها. والصيغ الأربع هي NFD وNFC وNFKD وNFKC؛ وصيغتا K تطويان أيضًا محارف التوافق، مثل أشكال العرض العربية والحروف المركّبة، إلى حروف عادية.

## أسئلة شائعة

### كيف أضيف التشكيل إلى نص عربي بلغة Python؟

هناك طريقان. ثبّت أداة تشكيل مخصصة مثل catt-tashkeel (Apache 2.0) أو mishkal (GPL) وشغّلها محليًا، أو أرسل النص إلى نموذج LLM بأمر لا يطلب إلا التشكيل. ومع نموذج LLM، تحقق دائمًا من أن الرد بعد حذف حركاته يطابق مدخلك.

### هل ChatGPT أو GPT-4 جيد في تشكيل النص العربي؟

قريب من أفضل الأنظمة المخصصة في بعض الاختبارات، ومتأخر عنها في أخرى. قاست ورقة CATT معدل DER لـGPT-4 بـ9.515% مع أواخر الكلمات على معيارها الإخباري، مقابل 8.624% لنموذجها. وتذكر ورقة أخرى من 2024 نحو 20% DER لـGPT-4 على معيار Fadel. اختبره على نصك أنت.

### ما الفرق بين DER وWER في قياس التشكيل؟

DER هو نسبة الحروف التي تشكيلها خاطئ. وWER هو نسبة الكلمات التي فيها حركة خاطئة واحدة على الأقل، لذا يكون دائمًا أعلى. ويُعرض كلاهما مع أواخر الكلمات (الحرف الأخير من كل كلمة) ومن دونها.

### لماذا يغيّر نموذج LLM الحروف حين يضيف التشكيل؟

لأنه يصحح الإملاء أيضًا: تصبح «الى» «إلى»، وتصبح ى ياءً، وتظهر همزة كانت ناقصة. قد يكون ذلك صحيحًا، لكنه تصحيح لا تشكيل، ويُفسد القياس حرفًا بحرف. اطلب منه ألا يفعل، وتحقق من كل رد، وشغّل تصحيح الإملاء خطوةً منفصلة إن أردته.

### هل تستطيع BroadNet قراءة النص المشكول بصوت مسموع؟

لا. ليست لدى BroadNet Inference نقطة نهاية لتحويل النص إلى كلام، بل تقدم نماذج محادثة وتحويل الكلام إلى نص. فإن كان التشكيل مرحلة أولى في خط معالجة لتحويل النص إلى كلام، فأرسل الناتج إلى خدمة TTS منفصلة.

## تابع القراءة

-   [توحيد النص العربي للبحث وRAG: ما الذي تغيّره وما الذي تتركه](https://broadrouter.com/ar/blog/arabic-text-normalization-search/)
-   [هندسة الأوامر بالعربية: المستوى اللغوي والاتجاه والأرقام والنص المختلط](https://broadrouter.com/ar/blog/arabic-prompt-engineering/)
-   [عدد الرموز لكل كلمة في العربية والإنجليزية: لماذا تكلّف العربية أكثر؟](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/)
-   [استخراج الكيانات المسماة من النص العربي بنموذج LLM: JSON والتواريخ](https://broadrouter.com/ar/blog/arabic-named-entity-extraction-llm/)
-   [اختيار LLM API للغة العربية: ما الذي تختبره؟](https://broadrouter.com/ar/blog/choosing-an-llm-for-arabic/)
-   [معالجة دفعات LLM دون Batch API: مشغّل قابل للاستئناف](https://broadrouter.com/ar/blog/llm-batch-processing-without-batch-api/)
-   [التدقيق الإملائي والنحوي للنص العربي بنموذج LLM: دليل عملي](https://broadrouter.com/ar/blog/arabic-grammar-spelling-correction-llm/)
-   [محضر اجتماع عربي من التسجيلات: مسار عمل عبر API](https://broadrouter.com/ar/blog/arabic-meeting-minutes-from-recordings/)
-   [مقارنة واجهات OCR العربي: Google وAzure وTextract وMistral ونماذج LLM](https://broadrouter.com/ar/blog/arabic-ocr-api-comparison/)
-   [دليل: استخدام OpenAI Python SDK مع BroadNet Inference](https://broadrouter.com/ar/guides/openai-python-sdk/)
-   [دليل: لماذا يعيد نموذج الاستدلال إجابة فارغة؟](https://broadrouter.com/ar/guides/reasoning-tokens-empty-response/)

جرّبه على مهامك الفعلية. تبدأ الحسابات الجديدة برصيد قدره $5 لاستخدام Gemma والتفريغ الصوتي. أما DeepSeek وGLM وQwen3.8 فتتطلب شحن الرصيد.

[ابدأ الآن](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-arabic-diacritization-llm&utm_content=page-cta) ·

**المصادر**

-   [Alasmary وZaafarani وGhannam، CATT: Character-based Arabic Tashkeel Transformer (arXiv 2407.03236v3)، الجدولان 4 و5، وحجم البيانات، وحد المدخل البالغ 1,024 حرفًا (رُوجع في 2026-11-15)](https://arxiv.org/html/2407.03236v3)
-   [مستودع abjadai/catt على GitHub: ترخيص Apache 2.0، وحزمة pip باسم catt-tashkeel، ونموذجا encoder-only وencoder-decoder (رُوجع في 2026-11-15)](https://github.com/abjadai/catt)
-   [Fadel وآخرون، Arabic Text Diacritization Using Deep Neural Networks (arXiv 1905.01965): 55 ألف سطر، ونحو 2.3 مليون كلمة من Tashkeela (رُوجع في 2026-11-15)](https://arxiv.org/abs/1905.01965)
-   [مستودع AliOsm/arabic-text-diacritization على GitHub: تقسيم 50,000 / 2,500 / 2,500 سطر، وترخيص MIT، والسكربت diacritization\_stat.py (رُوجع في 2026-11-15)](https://github.com/AliOsm/arabic-text-diacritization)
-   [Zerrouki وBalla، Tashkeela: Novel corpus of Arabic vocalized texts، مجلة Data in Brief 2017: 75,629,921 كلمة، و97 كتابًا، و98.85% عربية تراثية (رُوجع في 2026-11-15)](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/)
-   [Skiredj وBerrada، Arabic Text Diacritization in the Age of Transfer Learning (arXiv 2401.04848): تذكر أن GPT-4 سجّل نحو 20% DER و30% WER على معيار Fadel (رُوجع في 2026-11-15)](https://arxiv.org/html/2401.04848v1)
-   [مشكال على PyPI: الإصدار 0.4.1، وترخيص GPL، وطريقة استخدام TashkeelClass (رُوجع في 2026-11-15)](https://pypi.org/project/mishkal/)
-   [مستودع mush42/libtashkeel على GitHub: مكتبة لاستعادة التشكيل، وترخيص MIT، ونماذج مدرَّبة أساسًا على الفصحى الحديثة (رُوجع في 2026-11-15)](https://github.com/mush42/libtashkeel)
-   [المرجع التقني لواجهة BroadNet Inference: معرّفات النماذج، واحتساب الاستدلال ضمن max\_tokens، وreasoning\_effort، ونقاط النهاية (رُوجع في 2026-11-15) (بالإنجليزية)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-arabic-diacritization-llm&utm_content=sources)
