BroadRouter
ابدأ الآن

الاختبار المعياري لنماذج LLM (LLM benchmark)

آخر تحديث

الاختبار المعياري لنماذج LLM (LLM benchmark) مجموعة ثابتة، عامة في الغالب، من المهام مع طريقة لاحتساب الدرجات، تُستخدم لقياس نماذج اللغة ومقارنتها في مهارة واحدة، كأسئلة المعرفة أو البرمجة أو التعرّف على الكلام. وتُظهر درجته القدرة النسبية في ذلك الاختبار، لا أداء النموذج في عملك أنت.

يُسمّى أيضًا: الاختبار المعياري، اختبار معياري لنماذج اللغة، مقياس أداء النماذج، بنشمارك، درجة الاختبار المعياري، LLM benchmark، model benchmark، benchmark score

تأتي إطلاقات النماذج مع جداول من درجات الاختبارات المعيارية. ومعرفة ما يقيسه الاختبار المعياري، وما لا يستطيع قياسه، تمنعك من اختيار نموذج بناءً على الرقم الخطأ.

كيف يعمل

يثبّت الاختبار المعياري ثلاثة أشياء: المهام، وطريقة توجيه الأوامر إلى النموذج، وقاعدة احتساب الدرجة. ومن الأمثلة المعروفة:

الاختبار ما يختبره الحجم الاحتساب
MMLU (2020) المعرفة عبر “57 tasks including elementary mathematics, US history, computer science, law, and more” (ترجمة: 57 مهمة منها الرياضيات الأساسية وتاريخ الولايات المتحدة وعلوم الحاسوب والقانون وغيرها) 57 مادة الدقة
SWE-bench (2023) إصلاح مشكلات GitHub حقيقية عبر “editing the codebase to address the issue” (ترجمة: تعديل قاعدة الكود لمعالجة المشكلة) 2,294 مسألة من 12 مستودع Python نسبة المشكلات المحلولة

وللكلام اختباراته الخاصة: ترتّب لوحات الصدارة نماذج التفريغ الصوتي بحسب معدل خطأ الكلمات، والأقل أفضل.

الاختبارات المعيارية تشيخ. فحين نُشر MMLU، تحسّن أكبر نموذج GPT-3 “over random chance by almost 20 percentage points on average” (ترجمة: على الصدفة العشوائية بنحو 20 نقطة مئوية في المتوسط). وحين نُشر SWE-bench، حلّ أفضل نموذج، Claude 2، نسبة 1.96% من المشكلات. والاختبار الذي كان يميّز بين النماذج جيدًا قد يتوقف عن ذلك مع تحسّن النماذج، لذا تحقّق من تاريخ إنشاء الاختبار ومن الدرجات المعتادة اليوم.

لماذا يهم

  • التلوّث. يصف المسح الذي أجراه Xu وآخرون تلوّث بيانات الاختبارات المعيارية بأنه نماذج “inadvertently incorporate evaluation benchmark information from their training data” (ترجمة: تُدمج دون قصد معلومات اختبارات التقييم من بيانات تدريبها)، مما يؤدي إلى “inaccurate or unreliable performance during the evaluation phase” (ترجمة: أداء غير دقيق أو غير موثوق في مرحلة التقييم).
  • تغطية ضيقة. اختبار برمجة بلغة Python لا يقول الكثير عن دعم العملاء بالعربية. اختر اختبارات تطابق مهمتك (أي لوحة صدارة تقيس ماذا)، ثم أكّد النتيجة بـ تقييم على بياناتك أنت.
  • الإعدادات تغيّر الدرجات. صيغة الأمر، وأمثلة few-shot، وميزانية الاستدلال، وإعداد التقديم كلها تحرّك النتائج. لا تقارن الدرجات إلا إذا شُغّلت بالطريقة نفسها.
  • الحكّام يضيفون تحيّزهم. كثيرًا ما تستخدم الاختبارات ذات الإجابات المفتوحة نموذج لغة حَكَمًا؛ فتحقّق من الحَكَم والمعايير المستخدمة.

وتشرح مقالة تقييم نموذج LLM قبل الانتقال إليه كيف تبني مجموعة اختبار صغيرة من حركتك الفعلية.

في BroadNet Inference

تنشر BroadNet بعض أرقام الاختبارات المعيارية الخاصة بها؛ فتعامل معها على أنها أرقام تُبلغ عنها BroadNet. فبالنسبة إلى BroadNet Transcribe Arabic (المبني على Cohere Transcribe)، تُبلغ BroadNet عن معدلات خطأ كلمات قدرها 21.1 على كلام اللهجات في MASC و3.8 على FLEURS العربية، وتذكر أنه يحتل المرتبة #2 من أصل 37 (وهو رقمها لشهر سبتمبر 2026؛ وأدرجته اللوحة المباشرة في المرتبة #4 من أصل 39 في 15 نوفمبر 2026) في Open Universal Arabic ASR Leaderboard. وبالنسبة إلى Gemma 4 VL 26B، تُبلغ BroadNet عن تقييم أعمى بثلاثة حكّام على 240 محادثة إنتاجية، طابق فيه Claude Sonnet في 5 من 6 خطوات في خط معالجة روبوت المحادثة الخاص بـ BroadNet. وهذا خط معالجة شركة واحدة، لا اختبار معياري عام. شغّل تقييمك الخاص قبل أن تلتزم؛ فالرصيد المبدئي البالغ $5 يغطي Gemma 4 VL 26B ونموذجَي التفريغ الصوتي كليهما.

أسئلة شائعة

ما الفرق بين الاختبار المعياري والتقييم (eval)؟

الاختبار المعياري اختبار عام مشترك يتيح لفرق كثيرة مقارنة النماذج. أما التقييم فمجموعة اختبارك أنت، مبنية من أوامرك الحقيقية وتُقاس على ما يحتاجه منتجك. استخدم الاختبارات المعيارية لتضييق الخيارات، والتقييمات لاتخاذ القرار.

ما هو تلوّث الاختبار المعياري؟

يحدث حين تنتهي أسئلة الاختبار، أو نسخ قريبة منها، في بيانات تدريب النموذج. عندها قد يحقق النموذج درجة جيدة بالتذكّر لا بالمهارة، فتبالغ الدرجة في تقدير قدرته.

هل الدرجات التي يعلنها المورّدون موثوقة؟

تعامل معها على أنها ادعاءات. تحقّق من إصدار الاختبار والإعدادات والأوامر المستخدمة، ومن أن أحدًا أعاد إنتاج النتيجة، ومن أن لوحة صدارة عامة تُظهر الشيء نفسه.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity