قبل أن تردّ على المستخدم بلهجته، عليك أن تعرف اللهجة التي كتب بها. هذا هو تحديد اللهجة.
كيف يعمل
يقيس مجتمع البحث هذه المهمة عبر المهام المشتركة NADI (Nuanced Arabic Dialect Identification). استخدمت NADI 2020 تغريدات تغطي 100 محافظة في 21 دولة عربية، مع مهمة فرعية على مستوى البلد وأخرى على مستوى المحافظة. وصاغت NADI 2024 تحديد اللهجة مهمةً متعددة التسميات، لأن الجملة الواحدة قد تصحّ في عدة لهجات، وأضافت مهمة فرعية عن درجة اللهجية. وحقق أفضل نظام في المهمة الفرعية الأولى 50.57 في F1، ويكتب المنظمون أن تحديد اللهجة ما زال صعبًا.
ومدوّنة MADAR (Bouamor وآخرون، 2018) مورد شائع: الجمل نفسها من مجال السفر مترجمة إلى لهجات 25 مدينة. هناك 2,000 جملة متاحة بالمدن الخمس والعشرين كلها، و10,000 جملة أخرى للدوحة وبيروت والقاهرة وتونس والرباط. وبيانات متوازية كهذه تتيح لك أن ترى كيف يُكتب المعنى نفسه في كل مكان.
أما عمليًا، فمعظم المنتجات تحتاج إلى تسمية أعمّ. وهذه مجموعة تسميات قابلة للتطبيق:
| التسمية | تشمل |
|---|---|
msa |
العربية الفصحى الحديثة |
gulf |
السعودية والإماراتية والكويتية والقطرية والبحرينية والعُمانية |
egyptian |
المصرية |
levantine |
السورية واللبنانية والأردنية والفلسطينية |
maghrebi |
المغربية والجزائرية والتونسية والليبية |
other_or_unclear |
العراقية واليمنية والسودانية، والمختلطة أو القصيرة جدًا |
ويطلب الأمر الموجّه إلى نموذج اللغة لهذه المهمة كائن JSON واحدًا: التسمية، ودرجة الثقة، والكلمات التي كشفت اللهجة. فمثلًا، الرسالة عايز أغير الباقة ستعود هكذا:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
وطلب الكلمات الدالّة يسهّل مراجعة الأخطاء: إذا كانت الكلمة الدالّة من الفصحى، فالتسمية مشكوك فيها.
لماذا يهم
- التوجيه. أرسل عملاء الخليج إلى موظفين خليجيين، أو بدّل أمر الرد إلى لهجة المستخدم.
- التقييم. قسّم مجموعات اختبار الكلام والمحادثة حسب اللهجة. فالمتوسط الواحد يخفي الفئة الأضعف، كما يبيّن مقال التعرف على الكلام باللهجات.
- التحليلات. اعرف اللهجات التي يكتب بها مستخدموك فعلًا قبل أن تستثمر في واحدة منها.
والرسائل المختلطة شائعة. ينتقل المستخدمون بين اللهجة والفصحى والإنجليزية في سطر واحد، وهذا هو التناوب اللغوي (code-switching)؛ أبقِ تسمية «غير واضح» بدل فرض تخمين.
في BroadNet Inference
لا توفّر BroadNet نقطة نهاية لتحديد اللهجة. يمكنك بناء واحدة على POST /v1/chat/completions. يوثّق المرجع التقني لـ BroadNet المخرجات المنظَّمة لنموذجي GLM 5.3 وQwen3.8 27B، وهذا يناسب قائمة تسميات ثابتة؛ راجع المخرجات المنظَّمة. وتُبلغ BroadNet أنها اختبرت Qwen3.8 27B مع فهم اللهجتين الخليجية والمصرية. ولا تنشر BroadNet دقة تحديد اللهجة لأي نموذج، لذا صنّف يدويًا نحو 100 رسالة من رسائلك وقِس النموذج عليها قبل الاعتماد عليه.
يغطّي مقال تصنيف النصوص العربية الأوامر وقوائم التسميات وطريقة التقييم لهذا النوع من المهام، ويشرح اللهجات العربية معنى هذه التسميات.