تأتي إطلاقات النماذج مع جداول من درجات الاختبارات المعيارية. ومعرفة ما يقيسه الاختبار المعياري، وما لا يستطيع قياسه، تمنعك من اختيار نموذج بناءً على الرقم الخطأ.
كيف يعمل
يثبّت الاختبار المعياري ثلاثة أشياء: المهام، وطريقة توجيه الأوامر إلى النموذج، وقاعدة احتساب الدرجة. ومن الأمثلة المعروفة:
| الاختبار | ما يختبره | الحجم | الاحتساب |
|---|---|---|---|
| MMLU (2020) | المعرفة عبر “57 tasks including elementary mathematics, US history, computer science, law, and more” (ترجمة: 57 مهمة منها الرياضيات الأساسية وتاريخ الولايات المتحدة وعلوم الحاسوب والقانون وغيرها) | 57 مادة | الدقة |
| SWE-bench (2023) | إصلاح مشكلات GitHub حقيقية عبر “editing the codebase to address the issue” (ترجمة: تعديل قاعدة الكود لمعالجة المشكلة) | 2,294 مسألة من 12 مستودع Python | نسبة المشكلات المحلولة |
وللكلام اختباراته الخاصة: ترتّب لوحات الصدارة نماذج التفريغ الصوتي بحسب معدل خطأ الكلمات، والأقل أفضل.
الاختبارات المعيارية تشيخ. فحين نُشر MMLU، تحسّن أكبر نموذج GPT-3 “over random chance by almost 20 percentage points on average” (ترجمة: على الصدفة العشوائية بنحو 20 نقطة مئوية في المتوسط). وحين نُشر SWE-bench، حلّ أفضل نموذج، Claude 2، نسبة 1.96% من المشكلات. والاختبار الذي كان يميّز بين النماذج جيدًا قد يتوقف عن ذلك مع تحسّن النماذج، لذا تحقّق من تاريخ إنشاء الاختبار ومن الدرجات المعتادة اليوم.
لماذا يهم
- التلوّث. يصف المسح الذي أجراه Xu وآخرون تلوّث بيانات الاختبارات المعيارية بأنه نماذج “inadvertently incorporate evaluation benchmark information from their training data” (ترجمة: تُدمج دون قصد معلومات اختبارات التقييم من بيانات تدريبها)، مما يؤدي إلى “inaccurate or unreliable performance during the evaluation phase” (ترجمة: أداء غير دقيق أو غير موثوق في مرحلة التقييم).
- تغطية ضيقة. اختبار برمجة بلغة Python لا يقول الكثير عن دعم العملاء بالعربية. اختر اختبارات تطابق مهمتك (أي لوحة صدارة تقيس ماذا)، ثم أكّد النتيجة بـ تقييم على بياناتك أنت.
- الإعدادات تغيّر الدرجات. صيغة الأمر، وأمثلة few-shot، وميزانية الاستدلال، وإعداد التقديم كلها تحرّك النتائج. لا تقارن الدرجات إلا إذا شُغّلت بالطريقة نفسها.
- الحكّام يضيفون تحيّزهم. كثيرًا ما تستخدم الاختبارات ذات الإجابات المفتوحة نموذج لغة حَكَمًا؛ فتحقّق من الحَكَم والمعايير المستخدمة.
وتشرح مقالة تقييم نموذج LLM قبل الانتقال إليه كيف تبني مجموعة اختبار صغيرة من حركتك الفعلية.
في BroadNet Inference
تنشر BroadNet بعض أرقام الاختبارات المعيارية الخاصة بها؛ فتعامل معها على أنها أرقام تُبلغ عنها BroadNet. فبالنسبة إلى BroadNet Transcribe Arabic (المبني على Cohere Transcribe)، تُبلغ BroadNet عن معدلات خطأ كلمات قدرها 21.1 على كلام اللهجات في MASC و3.8 على FLEURS العربية، وتذكر أنه يحتل المرتبة #2 من أصل 37 (وهو رقمها لشهر سبتمبر 2026؛ وأدرجته اللوحة المباشرة في المرتبة #4 من أصل 39 في 15 نوفمبر 2026) في Open Universal Arabic ASR Leaderboard. وبالنسبة إلى Gemma 4 VL 26B، تُبلغ BroadNet عن تقييم أعمى بثلاثة حكّام على 240 محادثة إنتاجية، طابق فيه Claude Sonnet في 5 من 6 خطوات في خط معالجة روبوت المحادثة الخاص بـ BroadNet. وهذا خط معالجة شركة واحدة، لا اختبار معياري عام. شغّل تقييمك الخاص قبل أن تلتزم؛ فالرصيد المبدئي البالغ $5 يغطي Gemma 4 VL 26B ونموذجَي التفريغ الصوتي كليهما.