BroadRouter

عقوبة التكرار وعقوبة الحضور (Frequency/presence penalty)

آخر تحديث

عقوبة التكرار (frequency penalty) وعقوبة الحضور (presence penalty) إعدادان لأخذ العينات يخفضان درجة الرموز الموجودة أصلًا في المخرجات. تُطبَّق عقوبة الحضور مرة واحدة بمجرد ظهور الرمز، وتزداد عقوبة التكرار مع كل تكرار. وفي واجهة OpenAI يتراوح كلاهما بين -2.0 و2.0، والقيمة الافتراضية 0.

يُسمّى أيضًا: عقوبة التكرار، عقوبة الحضور، عقوبة الوجود، منع تكرار النص، frequency penalty، presence penalty، frequency_penalty، presence_penalty، repetition penalty

النموذج العالق في حلقة يكرر العبارة نفسها حتى تنفد رموزه. والعقوبات حل خشن يُطبَّق وقت أخذ العينات.

كيف تعمل

قبل سحب كل رمز تالٍ، يعدّل الخادم درجات الرموز التي وُلّدت من قبل.

الإعداد ما يعاقبه بحسب توثيق vLLM النطاق والقيمة الافتراضية
presence_penalty الرموز “based on whether they appear in the generated text so far” (ترجمة: بحسب ظهورها في النص المولَّد حتى الآن) OpenAI: من -2.0 إلى 2.0، والافتراضية 0
frequency_penalty الرموز “based on their frequency in the generated text so far” (ترجمة: بحسب تكرارها في النص المولَّد حتى الآن) OpenAI: من -2.0 إلى 2.0، والافتراضية 0
repetition_penalty الرموز “based on whether they appear in the prompt and the generated text so far” (ترجمة: بحسب ظهورها في الأمر وفي النص المولَّد حتى الآن) vLLM وHugging Face: القيمة 1.0 تعني عدم وجود عقوبة

القيم الموجبة تُبعد النموذج عن الرموز المستخدمة، والقيم السالبة تجعل التكرار أرجح. وتقول OpenAI إن عقوبة التكرار الموجبة تخفض “the model’s likelihood to repeat the same line verbatim” (ترجمة: احتمال أن يكرر النموذج السطر نفسه حرفيًا)، وإن عقوبة الحضور الموجبة ترفع “the model’s likelihood to talk about new topics” (ترجمة: احتمال أن يتحدث النموذج عن مواضيع جديدة). وبالنسبة إلى repetition_penalty، يقول vLLM إن القيم الأعلى من 1 تفضّل الرموز الجديدة والقيم الأدنى من 1 تفضّل التكرار. ويحيل توثيق Hugging Face إلى ورقة CTRL بشأن هذه العقوبة.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

لماذا تهم

  • الحلقات في المخرجات الطويلة. قد يقع الوكلاء والملخصات الطويلة في نص متكرر. وقد تكسر عقوبة صغيرة الحلقة، بينما يحدّ سقف صارم في max_tokens من الضرر.
  • الآثار الجانبية. تعمل العقوبات على الرموز لا على الأفكار. والعقوبة القوية قد تمنع النموذج من إعادة استخدام كلمات يحتاج إليها، مثل اسم متغير في الشيفرة، أو مفتاح JSON، أو اسم في نص عربي يتكرر عن قصد. ابدأ من 0 وغيّر بخطوات صغيرة.
  • التداخل مع أخذ العينات. تغيّر درجة الحرارة وtop-p التنوع أيضًا. غيّر إعدادًا واحدًا في كل مرة حين تختبر.

في BroadNet Inference

لا يوثّق المرجع التقني لـ BroadNet المعاملات frequency_penalty وpresence_penalty وrepetition_penalty. اختبرها قبل الاعتماد عليها: أرسل أمرًا يميل إلى التكرار، مرة مع الحقل ومرة دونه، وقارن. وإن ظهر التكرار في التشغيلات الطويلة، فجرّب أمرًا أوضح، أو حدًا أدنى للمخرجات، أو أوقف التشغيل واستأنفه من نقطة حفظ؛ ويتناول مقال تشغيل الوكلاء طوال الليل هذا النمط.

أخطاء شائعة

  • ضبط العقوبات على قيم عالية لإصلاح مشكلة في الأمر. فالتكرار كثيرًا ما يعني أن النموذج لا يملك نقطة توقف واضحة.
  • استخدام عقوبة مع المخرجات المنظَّمة، حيث يجب أن تتكرر المفاتيح.

أسئلة شائعة

ما الفرق بين عقوبة التكرار وعقوبة الحضور؟

تسأل عقوبة الحضور "هل ظهر هذا الرمز؟" وتُطبَّق مرة واحدة. أما عقوبة التكرار فتسأل "كم مرة؟" وتزداد مع كل تكرار. ويصفهما vLLM بأنهما تعاقبان الرموز بحسب ظهورها وبحسب تكرارها في النص حتى الآن.

هل repetition_penalty هو الشيء نفسه؟

لا. إنه مُضاعِف منفصل يستخدمه vLLM وHugging Face، والقيمة 1.0 فيه تعني عدم وجود عقوبة. ويطبّقه vLLM على الرموز في الأمر والمخرجات معًا، لا في المخرجات وحدها.

هل يدعم BroadNet Inference هذه العقوبات؟

لا يوثّق المرجع التقني لـ BroadNet المعاملات frequency_penalty وpresence_penalty وrepetition_penalty. اختبرها قبل الاعتماد عليها.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity