BroadRouter

نموذج اللغة حَكَمًا (LLM-as-a-judge)

آخر تحديث

نموذج اللغة حَكَمًا (LLM-as-a-judge) طريقة تقييم يمنح فيها نموذج لغة درجات لمخرجات نماذج أخرى، إما بتقييم إجابة واحدة وفق معايير مكتوبة أو باختيار الأفضل بين إجابتين. وهو يقارب الحكم البشري بتكلفة أقل كثيرًا، لكن له تحيّزات معروفة، كتفضيل الإجابة الأولى أو الأطول.

يُسمّى أيضًا: نموذج اللغة حكمًا، LLM حكمًا، التقييم بنموذج لغة، حكم بالذكاء الاصطناعي، مقيّم LLM، LLM-as-a-judge، LLM as a judge، LLM judge، model-graded eval، AI judge، LLM grader

يستبدل أسلوب LLM-as-a-judge المقيّمَ البشري باستدعاء نموذج: أعطه السؤال والإجابة ومعايير التقييم، واقرأ الدرجة التي يعيدها.

كيف يعمل

درس Zheng وآخرون (2023) هذه الطريقة بعمق، وبنوا MT-Bench (أسئلة متعددة الدورات) وChatbot Arena (تصويت جماعي في مواجهات مباشرة) لاختبارها. ونتيجتهم الرئيسية: GPT-4 بوصفه حَكَمًا اتفق مع تفضيلات الخبراء والجمهور معًا “at over 80%” (ترجمة: بنسبة تتجاوز 80%)، وهو مستوى الاتفاق نفسه بين البشر.

هناك إعدادان شائعان:

  • تقييم إجابة واحدة. يمنح الحَكَم مخرجًا واحدًا درجة على مقياس، من 1 إلى 5 مثلًا، وفق معايير مكتوبة. ويسمّي دليل المقيّمات لدى OpenAI هذا مقيّم score_model الذي يعيد “a numeric score based on the prompt within the given range.” (ترجمة: درجة رقمية بناءً على الأمر ضمن النطاق المحدد).
  • المقارنة الثنائية. يرى الحَكَم إجابتين عن السؤال نفسه ويختار الأفضل، أو يعلن التعادل.

يتضمن أمر الحَكَم عادةً السؤال الأصلي والإجابة وإجابة مرجعية إن وُجدت ومعايير التقييم. اطلب سببًا قصيرًا قبل الدرجة، وقيّد الدرجة باستخدام المخرجات المهيكلة حتى يستطيع الكود تحليلها.

لماذا يهم

التقييم البشري لا يتوسع إلى آلاف حالات التقييم مع كل تغيير في الأمر. أما الحَكَم فيتوسع، لكنه يأتي بتحيّزات قاسها Zheng وآخرون:

التحيّز ما يحدث الحدّ منه
الموضع يفضّل الإجابة الأولى (أو الثانية) بدّل الترتيب واشترط الاتفاق
الإسهاب يفضّل الإجابات الأطول معايير تكافئ الإيجاز؛ حدود للطول
تعزيز الذات يفضّل أسلوب نموذجه استخدم نموذجًا مختلفًا حَكَمًا

والحكّام ضعفاء أيضًا في التحقق من الرياضيات والحقائق التي لا يستطيعون التثبت منها. ولهذه، أعطِ الحَكَم إجابة مرجعية، أو استخدم فحوصًا برمجية. فالحَكَم الذي يفوّت الهلوسات يمنح ثقة زائفة.

في BroadNet Inference

لا تقدّم BroadNet خدمة تقييم مستضافة؛ فأنت تكتب استدعاء الحَكَم بنفسك على نقطة نهاية chat completions. وتُحاسَب استدعاءات الحَكَم كأي طلب، لذا فالحَكَم الذي يقرأ إجابات طويلة يضيف رموز إدخال وإخراج لكل حالة. قدّر تكلفة التشغيل باستخدام حاسبة تكلفة واجهات LLM. وإن كان الحَكَم نموذج استدلال، فاترك مجالًا في max_tokens، لأن رموز الاستدلال تُحتسب ضمنه. وللعملية الأوسع، راجع تقييم نموذج LLM قبل الانتقال إليه.

أسئلة شائعة

ما مدى دقة LLM-as-a-judge؟

وجد Zheng وآخرون أن GPT-4 بوصفه حَكَمًا اتفق مع تفضيلات البشر في أكثر من 80% من الحالات، وهي تقريبًا النسبة التي يتفق بها البشر فيما بينهم. تحقّق من نسبة الاتفاق على مهمتك أنت قبل أن تثق به.

هل يجب أن يكون الحَكَم هو النموذج نفسه الذي يُختبر؟

يُفضَّل ألا يكون. يذكر Zheng وآخرون تحيّزًا لتعزيز الذات، وتعدّ إرشادات Anthropic استخدام نموذج تقييم مختلف أفضلَ ممارسة.

كيف أقلل تحيّز الموضع في المقارنة الثنائية؟

شغّل كل مقارنة مرتين مع تبديل ترتيب الإجابتين، ولا تحتسب الفوز إلا إذا اختار الحَكَم الإجابة نفسها في المرتين.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity