مهام التصنيف العربية في كل مكان: هل هذه المراجعة إيجابية؟ هل رسالة واتساب هذه شكوى؟ أي فريق يجب أن يستلم هذه التذكرة؟ هل هي عاجلة؟ قبل نماذج LLM، كانت كل مهمة تحتاج إلى مجموعة بيانات موسومة ونموذج مضبوط ضبطًا دقيقًا. أما الآن فيمكنك البدء بأمر. هذا أسرع، لكن من السهل أن تطلق مصنِّفًا يبدو جيدًا على عشرة أمثلة ثم يخفق مع اللهجة الخليجية. يغطي هذا المقال الأمر، وصيغة المخرجات، والاختبار، والتكلفة.
أي مهام التصنيف تناسب نموذج LLM؟
| المهمة | أمثلة على الفئات | ملاحظات |
|---|---|---|
| المشاعر | positive، negative، neutral، mixed | الفئتان المحايدة والمختلطة هما حيث يختلف البشر والنماذج أكثر |
| النية | complaint، question، order، cancel، other | أبقِ فئة «other»؛ فإجبار النموذج على فئة يولّد أخطاء |
| توجيه التذاكر | billing، delivery، technical، account | ابنِ الفئات على فرقك الحقيقية |
| الاستعجال | urgent، normal | عرّف العاجل في سطر واحد: «العميل لا يستطيع استخدام الخدمة الآن» |
| اللهجة أو طريقة الكتابة | MSA، Gulf، Egyptian، Levantine، Arabizi | مفيد لتوجيه الرسالة إلى قالب الرد المناسب؛ انظر العربيزي |
| وسوم الموضوع | عدة فئات من قائمة ثابتة | اطلب قائمة، وضع حدًا لطولها |
يناسبك نموذج LLM حين تكون أمثلتك الموسومة قليلة، أو تتغير الفئات كثيرًا، أو تريد سببًا مع كل فئة. ويناسبك مصنِّف مضبوط ضبطًا دقيقًا حين تكون الفئات مستقرة، والحجم ضخمًا، ولديك أصلًا آلاف الأمثلة الموسومة.
ماذا تقول الأبحاث عن نماذج LLM مع العربية؟
نتيجتان تستحقان المعرفة قبل أن تبدأ:
- قد تتفوق النماذج العربية المضبوطة ضبطًا دقيقًا. اختبرت GPTAraEval نموذج ChatGPT على 44 مهمة عربية، ووجدت أنه “consistently surpassed by smaller models that have undergone finetuning on Arabic” (الترجمة: «تتفوق عليه باستمرار نماذج أصغر خضعت لضبط دقيق على العربية»). ووجد المؤلفون أيضًا نتائج أضعف على اللهجات منها على العربية الفصحى الحديثة (Khondaker وآخرون).
- الأوامر المراعية للهجات تساعد. تذكر دراسة RANLP 2025 التي اختبرت DeepSeek-R1 وQwen2.5 وLLaMA-3 على تحليل المشاعر بالفصحى واللهجة السعودية والدارجة المغربية أن الأوامر المراعية للهجات حسّنت الدقة، خاصة في الفئتين المحايدة والسلبية (Alharbi وآخرون).
هذه نماذج أقدم أو مختلفة عن التي ستستخدمها، فتعامل مع النتائج كاتجاهات لا كأرقام. لكن الدرس ثابت: قِس على رسائلك أنت، لكل لهجة.
كيف تصمّم الفئات؟
ابدأ من هنا، لا من النموذج.
- أبقِ القائمة قصيرة. من أربع إلى ثماني فئات لكل سؤال. واطرح الأسئلة المنفصلة (المشاعر، والنية، والاستعجال) كحقول منفصلة، لا كقائمة واحدة ضخمة.
- عرّف كل فئة في سطر واحد، مع ما لا تعنيه: «complaint: يبلّغ العميل عن مشكلة في شيء اشتراه. وليس سؤالًا عن السعر».
- أضف فئة مخرج مثل
otherأوunclear. - احسم الحالات المختلطة مسبقًا. «تأخر التوصيل لكن السائق كان لطيفًا» حالة مختلطة، لا محايدة. دوّن هذه القاعدة.
يمكن كتابة تعريفات الفئات بالإنجليزية حتى لو كان النص عربيًا. وأبقِ قيم الفئات بالإنجليزية حتى لا يعتمد كودك على مطابقة نصوص عربية.
أي أمر ينجح في تصنيف العربية؟
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
لماذا وُضع كل جزء:
- سطر اللهجات يخبر النموذج بما يتوقعه، وهذه هي الأوامر المراعية للهجات التي وجدتها دراسة RANLP مفيدة.
- أمثلة بأكثر من لهجة. تمزج الأمثلة أعلاه بين اللهجتين الخليجية والمصرية. استخدم رسائل حقيقية (مجهولة الهوية) من حركتك أنت.
- الدليل كاقتباس يتيح للمراجع التحقق من الفئة في ثانية، ويسهّل كشف التخمينات.
reasoning_effort="low". يفكّر Qwen3.8 27B وGLM 5.3 وDeepSeek V4.1 Flash قبل الإجابة، ويُحتسب الاستدلال المنطقي ضمنmax_tokens. ويقترح توثيق BroadNet ضبطreasoning_effortعلىlowأو ترك 1,000 رمز أو أكثر. لماذا تعود الإجابات فارغة إن لم تفعل.- ارفض الفئات غير المعروفة في الكود. لا تثق أبدًا بأن النموذج سيلتزم بالقائمة.
ولعقد مخرجات أكثر صرامة، انظر JSON mode مقابل json_schema. تُدرج BroadNet المخرجات المنظَّمة لنموذجي GLM 5.3 وQwen3.8 27B.
أي نموذج من BroadNet تستخدم؟
| النموذج | لماذا تختاره | الإدخال / الإخراج لكل مليون رمز |
|---|---|---|
| Qwen3.8 27B | اختبرته BroadNet بالعربية: يفهم اللهجتين الخليجية والمصرية؛ المخرجات المنظَّمة مدرجة | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | أدنى سعر لكل رمز على BroadNet؛ يعمل بالرصيد المبدئي البالغ $5؛ المخرجات المنظَّمة غير مدرجة، فتحقق من المخرجات بصرامة | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | متاح أيضًا بخطة ثابتة بسعر $60 شهريًا لكل جلسة، بطلب واحد في كل مرة | $0.175 / $0.52 |
| GLM 5.3 | المخرجات المنظَّمة مدرجة؛ الأعلى سعرًا بين الأربعة | $0.78 / $3.46 |
شغّل مجموعة اختبارك على Qwen3.8 27B وGemma 4 VL 26B أولًا. فإن كانت نتائج Gemma قريبة بما يكفي، فهو الخيار الأرخص للفئات القصيرة. اختر بناءً على أرقامك، لا على هذا الجدول.
كيف تختبر المصنِّف؟
- سِم 200 رسالة حقيقية يدويًا، بمساعدة متحدث أصلي، وفق تعريفات الفئات أعلاه. وضمّن كل لهجة تصلك، 30 رسالة على الأقل من كل منها.
- شغّل النموذج على الرسائل الـ200 كلها.
- احسب macro F1، أي متوسط درجات F1 لكل فئة، حتى تُحتسب الفئات النادرة بقدر الشائعة. فالدقة وحدها تخفي نموذجًا لا يقول
cancelأبدًا. - اقرأ مصفوفة الالتباس. إن تبادلت
questionوcomplaintكثيرًا، فالتعريفات متداخلة: أصلح التعريفات قبل أن تغيّر النموذج. - قسّم النتائج حسب اللهجة. قد يكون النموذج قويًا في الفصحى وضعيفًا في الخليجية.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
أعد تشغيل المجموعة نفسها في كل مرة تغيّر فيها الأمر أو النموذج. ويشرح مقال كيف تقيّم نموذج LLM قبل التبديل كيف تحافظ على مجموعة اختبار ثابتة.
كيف تصنّف بأحجام كبيرة؟
التصنيف ثقيل في الإدخال: أمر نظام طويل، ورسالة قصيرة، وإجابة من كلمة واحدة. ثلاث روافع تهم هنا.
اجمع الرسائل في كل طلب. يسمح مفتاح الدفع حسب الاستخدام في BroadNet بـ30 طلبًا في الدقيقة و4 طلبات قيد التنفيذ. ورسالة واحدة في كل طلب تحدّك بـ30 رسالة في الدقيقة لكل مفتاح، أي 1,440 ضعف ذلك يوميًا. أرسل 20 رسالة قصيرة كقائمة مرقّمة واطلب مصفوفة JSON من 20 نتيجة: عندها يغطي حد المعدل نفسه رسائل أكثر بعشرين مرة. تحقق من تطابق طول المصفوفة ومن أن كل عنصر يحمل رقمه.
أبقِ بادئة الأمر متطابقة. أمر النظام والأمثلة هي نفسها في كل استدعاء. ضعها أولًا والرسالة أخيرًا، لتُقرأ من الذاكرة المؤقتة بسعر الإدخال المخزّن مؤقتًا، مثل $0.0435 بدل $0.175 لكل مليون على Qwen3.8 27B. كيف تبني الأوامر لتُخزَّن البادئة مؤقتًا.
أبقِ المخرجات قصيرة. رموز الإخراج أغلى من رموز الإدخال. تكفي فئة واقتباس قصير؛ واحذف حقل الدليل حين تثق بالنموذج.
تستهلك العربية عادة رموزًا لكل كلمة أكثر من الإنجليزية، فاحسب عينة من رسائلك في عدّاد الرموز العربية، ثم قدّر تكلفة الشهر في حاسبة تكلفة API نماذج LLM.
ما الأخطاء التي يجب تجنبها؟
- الاختبار على ترجمات إنجليزية. النص المترجم ليس الطريقة التي يكتب بها عملاؤك.
- نتيجة واحدة لكل اللهجات. أبلغ عن كل لهجة على حدة.
- لا فئة مخرج. إجبار كل رسالة على فئة حقيقية يضخّم الأخطاء.
- إجابات نصية حرة. «يبدو أنها سلبية» لا يمكن تحليلها برمجيًا. اطلب JSON وتحقق منه.
- تجاهل السخرية. «ما شاء الله، ثالث مرة يتأخر الطلب» تبدو إيجابية كلمةً كلمة وهي شكوى. ضع مثالًا مشابهًا في الأمر.
متى يكون نموذج LLM المصنِّفَ الخطأ؟
حين تكون الفئات مستقرة، ولديك أصلًا آلاف الأمثلة الموسومة، والحجم بالملايين، يكون نموذج ترميز عربي مضبوط ضبطًا دقيقًا عادة أرخص لكل رسالة، وقد يكون أدق وفق GPTAraEval. وللمهام الكبيرة غير المتصلة التي تحتمل الانتظار، قد يكلّف مزود لديه Batch API أقل أيضًا: تعلن OpenAI عن خصم 50% للمهام الدفعية المنجزة خلال 24 ساعة. ليس لدى BroadNet واجهة Batch API. ومن الأنماط الشائعة استخدام LLM لوسم أول بضعة آلاف من الرسائل، ومراجعتها يدويًا، ثم تدريب نموذج صغير على النتيجة.
أين يناسب BroadNet Inference
تمنحك BroadNet نموذجًا مختبَرًا بالعربية (Qwen3.8 27B)، ونموذجًا رخيصًا يعمل بالرصيد المبدئي (Gemma 4 VL 26B)، وخيارًا بسعر ثابت (DeepSeek V4.1 Flash) خلف مفتاح واحد متوافق مع OpenAI، دون الاحتفاظ بمحتوى الرسائل بعد الطلب. يناسب ذلك فرق الدعم التي تريد تصنيف الرسائل العربية دون بناء خط تدريب. ولا يناسب المهام الضخمة غير المتصلة التي يكلّف فيها خصم الدفعات أو نموذج مضبوط ضبطًا دقيقًا أقل. ابدأ بالأمر أعلاه، واختبار الرسائل الـ200، ومقال اللهجات الخليجية والمصرية والشامية لبناء مجموعة الاختبار.
