BroadRouter

التشكيل (الحركات العربية، Arabic diacritics)

آخر تحديث

التشكيل هو علامات صغيرة تُكتب فوق الحروف العربية أو تحتها لبيان الحركات القصيرة والحروف المضعّفة وغياب الحركة. وهو اختياري: تخلو منه معظم النصوص العربية، ومنها الأخبار، فيستنتج القرّاء والبرمجيات الحركات من السياق.

يُسمّى أيضًا: التشكيل، الحركات، تشكيل النص، التشكيل الآلي، ضبط النص بالشكل، علامات التشكيل، tashkeel، tashkil، harakat، diacritization، Arabic diacritization، diacritics، vowel marks

قد تعني الحروف العربية الثلاثة نفسها «كَتَبَ» أو «كُتُب» أو «كُتِبَ». التشكيل هو ما يميّز بينها، ومعظم النصوص تُكتب من دونه.

كيف يعمل

يسمّي معيار Unicode هذه العلامات tashkil (التشكيل) ويقول إنها “may be written as combining marks” (ترجمة: يمكن أن تُكتب علاماتٍ مركّبة)، ثم يضيف: “In normal writing, however, these marks are omitted.” (ترجمة: لكن هذه العلامات تُحذف في الكتابة العادية.) والحركات (harakat) هي اسم المجموعة الفرعية للحركات القصيرة. وكل علامة حرف مركّب مستقل يتبع الحرف الذي يعلوه أو يقع تحته. وتقع العلامات الرئيسية في النطاق من U+064B إلى U+0652:

نقطة الترميز الاسم الوظيفة
U+064E FATHA (الفتحة) حركة a قصيرة
U+064F DAMMA (الضمة) حركة u قصيرة
U+0650 KASRA (الكسرة) حركة i قصيرة
U+064B to U+064D FATHATAN وDAMMATAN وKASRATAN التنوين (نهايات ـًا وـٌ وـٍ)
U+0651 SHADDA (الشدّة) حرف مضعّف
U+0652 SUKUN (السكون) لا حركة

مثال تطبيقي على الكلمة المجرّدة كتب:

  • كَتَبَ (kataba)، أي «he wrote»
  • كُتُب (kutub)، أي «books»
  • كُتِبَ (kutiba)، أي «it was written»

من دون علامات، الثلاث سلسلة نصية واحدة. ويختار القارئ المعنى من الجملة. وعلى البرمجيات أن تفعل الشيء نفسه، وهذه وظيفة أداة التشكيل الآلي. بنى Zerrouki وBalla (2017) مدوّنة Tashkeela، نحو 75.6 مليون كلمة معظمها من العربية الكلاسيكية، لأن النصوص المشكولة بالكامل نادرة وأدوات التشكيل تحتاجها للتدريب. ويُبلغ Fadel وآخرون (2019) عن نماذج تشكيل عصبية تضاهي الأعمال السابقة أو تتفوّق عليها في اختبار معياري عام، ويبيّنون أن التشكيل قد يساعد الترجمة الآلية.

وتتعامل المكتبات مع هذه العلامات بوصفها مجموعة واحدة. فمجموعة AR_DIAC_CHARSET في CAMeL Tools تضم النطاق من U+064B إلى U+0652 إضافةً إلى U+0670 (الألف الخنجرية)، وتحذفها الدالة dediac_ar.

لماذا يهم

  • البحث والمطابقة. الكلمة نفسها مكتوبة بالتشكيل ومن دونه سلسلتان نصيتان مختلفتان. احذفه من مفتاح البحث ضمن توحيد النص العربي، وإلا فستفشل المطابقات الدقيقة.
  • الرموز. كل علامة حرف إضافي يعالجه المجزّئ (tokenizer). والنص المشكول بالكامل يستهلك رموزًا أكثر بوضوح من النص المجرّد؛ راجع دليل التشكيل للنسب المقيسة، وعدد الرموز لكل كلمة عربية لخط الأساس.
  • الكلام والتقييم. تعود النصوص المفرّغة عادةً دون تشكيل. احسب معدل الخطأ في الكلمات بعد حذف التشكيل من النصين، وإلا فستُحتسب كلمة صحيحة عليها فتحة زائدة خطأً.
  • متى تحتاج إليه. تحويل النص إلى كلام، وتعليم اللغة، والنصوص القرآنية والشعرية، والأسماء الملتبسة من دون حركات.

في BroadNet Inference

لا توفّر BroadNet نقطة نهاية للتشكيل. تستقبل نماذج المحادثة التشكيل نصًا عاديًا عبر POST /v1/chat/completions، فيمكنك أن تطلب من نموذج مثل Qwen3.8 27B إضافة العلامات أو حذفها. والنمط الآمن هو فحص الرد في الشيفرة: احذف التشكيل وقارنه بمدخلك، حرفًا بحرف. ويحتوي مقال التشكيل بنماذج اللغة على الأمر وطريقة الفحص.

أما للحذف فلا تستخدم نموذجًا إطلاقًا. تعبير نمطي (regex) قصير على النطاق من U+064B إلى U+0652 أسرع ومجاني ودقيق. ويعرض أداة توحيد النص العربي الأثر في المتصفح.

أسئلة شائعة

هل أحذف التشكيل قبل فهرسة النص العربي؟

للبحث بالكلمات المفتاحية، نعم غالبًا، ومن مفتاح البحث فقط. ويشير مؤلفو Tashkeela إلى أن معظم محركات البحث تتجاهل التشكيل. احتفظ بالنص الأصلي للعرض ولنموذج اللغة.

لماذا يكلّف النص العربي المشكول رموزًا أكثر؟

كل علامة حرف Unicode مستقل، فالكلمة المشكولة بالكامل فيها حروف أكثر يقسّمها المجزّئ. احسب رموز نصك بعدّاد الرموز قبل إضافة التشكيل وبعدها.

هل يستطيع نموذج اللغة تشكيل النص بموثوقية؟

يستطيع إضافة التشكيل، لكنه قد يغيّر الحروف أيضًا. احذف العلامات من الرد وقارنه بالمدخل؛ وارفض أي رد تغيّر فيه حرف.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity