يستبدل أسلوب LLM-as-a-judge المقيّمَ البشري باستدعاء نموذج: أعطه السؤال والإجابة ومعايير التقييم، واقرأ الدرجة التي يعيدها.
كيف يعمل
درس Zheng وآخرون (2023) هذه الطريقة بعمق، وبنوا MT-Bench (أسئلة متعددة الدورات) وChatbot Arena (تصويت جماعي في مواجهات مباشرة) لاختبارها. ونتيجتهم الرئيسية: GPT-4 بوصفه حَكَمًا اتفق مع تفضيلات الخبراء والجمهور معًا “at over 80%” (ترجمة: بنسبة تتجاوز 80%)، وهو مستوى الاتفاق نفسه بين البشر.
هناك إعدادان شائعان:
- تقييم إجابة واحدة. يمنح الحَكَم مخرجًا واحدًا درجة على مقياس، من 1 إلى 5 مثلًا، وفق معايير مكتوبة. ويسمّي دليل المقيّمات لدى OpenAI هذا مقيّم
score_modelالذي يعيد “a numeric score based on the prompt within the given range.” (ترجمة: درجة رقمية بناءً على الأمر ضمن النطاق المحدد). - المقارنة الثنائية. يرى الحَكَم إجابتين عن السؤال نفسه ويختار الأفضل، أو يعلن التعادل.
يتضمن أمر الحَكَم عادةً السؤال الأصلي والإجابة وإجابة مرجعية إن وُجدت ومعايير التقييم. اطلب سببًا قصيرًا قبل الدرجة، وقيّد الدرجة باستخدام المخرجات المهيكلة حتى يستطيع الكود تحليلها.
لماذا يهم
التقييم البشري لا يتوسع إلى آلاف حالات التقييم مع كل تغيير في الأمر. أما الحَكَم فيتوسع، لكنه يأتي بتحيّزات قاسها Zheng وآخرون:
| التحيّز | ما يحدث | الحدّ منه |
|---|---|---|
| الموضع | يفضّل الإجابة الأولى (أو الثانية) | بدّل الترتيب واشترط الاتفاق |
| الإسهاب | يفضّل الإجابات الأطول | معايير تكافئ الإيجاز؛ حدود للطول |
| تعزيز الذات | يفضّل أسلوب نموذجه | استخدم نموذجًا مختلفًا حَكَمًا |
والحكّام ضعفاء أيضًا في التحقق من الرياضيات والحقائق التي لا يستطيعون التثبت منها. ولهذه، أعطِ الحَكَم إجابة مرجعية، أو استخدم فحوصًا برمجية. فالحَكَم الذي يفوّت الهلوسات يمنح ثقة زائفة.
في BroadNet Inference
لا تقدّم BroadNet خدمة تقييم مستضافة؛ فأنت تكتب استدعاء الحَكَم بنفسك على نقطة نهاية chat completions. وتُحاسَب استدعاءات الحَكَم كأي طلب، لذا فالحَكَم الذي يقرأ إجابات طويلة يضيف رموز إدخال وإخراج لكل حالة. قدّر تكلفة التشغيل باستخدام حاسبة تكلفة واجهات LLM. وإن كان الحَكَم نموذج استدلال، فاترك مجالًا في max_tokens، لأن رموز الاستدلال تُحتسب ضمنه. وللعملية الأوسع، راجع تقييم نموذج LLM قبل الانتقال إليه.