BroadRouter

فریکوئنسی اور پریزنس پینلٹی

اپ ڈیٹ

فریکوئنسی اور پریزنس پینلٹی سیمپلنگ سیٹنگز ہیں جو آؤٹ پٹ میں پہلے آ چکے ٹوکنز کا اسکور کم کرتی ہیں۔ پریزنس پینلٹی ٹوکن کے ایک بار بھی آنے پر لگتی ہے؛ فریکوئنسی پینلٹی ہر تکرار کے ساتھ بڑھتی ہے۔ OpenAI کے API میں دونوں کی رینج -2.0 سے 2.0 ہے، ڈیفالٹ 0۔

دوسرے نام: فریکوئنسی پینلٹی، پریزنس پینلٹی، ریپیٹیشن پینلٹی، frequency penalty kya hai، presence penalty kya hai، frequency penalty، presence penalty، frequency_penalty، presence_penalty، repetition penalty

لوپ میں پھنسا ماڈل ایک ہی جملہ تب تک دہراتا ہے جب تک اس کے ٹوکن ختم نہ ہو جائیں۔ پینلٹیز سیمپلنگ کے وقت لگایا جانے والا ایک موٹا سا علاج ہیں۔

یہ کیسے کام کرتی ہیں

ہر اگلا ٹوکن چننے سے پہلے سرور ان ٹوکنز کے اسکور بدلتا ہے جو پہلے جنریٹ ہو چکے ہیں۔

سیٹنگ vLLM کی دستاویزات کے مطابق کس پر پینلٹی رینج اور ڈیفالٹ
presence_penalty ٹوکنز پر، “based on whether they appear in the generated text so far” (ترجمہ: اس بنیاد پر کہ وہ اب تک کے جنریٹ شدہ متن میں آئے یا نہیں) OpenAI: -2.0 سے 2.0، ڈیفالٹ 0
frequency_penalty ٹوکنز پر، “based on their frequency in the generated text so far” (ترجمہ: اب تک کے جنریٹ شدہ متن میں ان کی تعداد کی بنیاد پر) OpenAI: -2.0 سے 2.0، ڈیفالٹ 0
repetition_penalty ٹوکنز پر، “based on whether they appear in the prompt and the generated text so far” (ترجمہ: اس بنیاد پر کہ وہ پرامپٹ اور اب تک کے جنریٹ شدہ متن میں آئے یا نہیں) vLLM اور Hugging Face: 1.0 کا مطلب کوئی پینلٹی نہیں

مثبت قدریں استعمال شدہ ٹوکنز سے دور دھکیلتی ہیں؛ منفی قدریں تکرار کا امکان بڑھاتی ہیں۔ OpenAI کہتا ہے کہ مثبت فریکوئنسی پینلٹی “the model’s likelihood to repeat the same line verbatim” (ترجمہ: ماڈل کے وہی سطر لفظ بہ لفظ دہرانے کا امکان) کم کرتی ہے، اور مثبت پریزنس پینلٹی “the model’s likelihood to talk about new topics” (ترجمہ: ماڈل کے نئے موضوعات پر بات کرنے کا امکان) بڑھاتی ہے۔ repetition_penalty کے لیے vLLM کہتا ہے کہ 1 سے اوپر کی قدریں نئے ٹوکنز کو ترجیح دیتی ہیں اور 1 سے نیچے کی قدریں تکرار کو۔ Hugging Face کی دستاویزات اس پینلٹی کے لیے CTRL مقالے کا حوالہ دیتی ہیں۔

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

یہ کیوں اہم ہیں

  • لمبے آؤٹ پٹ میں لوپس۔ ایجنٹس اور لمبے خلاصے تکرار میں پھنس سکتے ہیں۔ چھوٹی سی پینلٹی لوپ توڑ سکتی ہے، اور max_tokens کی سخت حد نقصان کو محدود رکھتی ہے۔
  • ضمنی اثرات۔ پینلٹیز ٹوکنز پر لگتی ہیں، خیالات پر نہیں۔ تیز پینلٹی ماڈل کو وہ الفاظ دوبارہ استعمال کرنے سے روک سکتی ہے جن کی اسے ضرورت ہے، جیسے کوڈ میں کسی ویری ایبل کا نام، کوئی JSON key، یا عربی متن میں کوئی نام جو جان بوجھ کر دہرایا جاتا ہے۔ 0 سے شروع کریں اور چھوٹے قدموں میں بدلیں۔
  • سیمپلنگ سے ٹکراؤ۔ ٹمپریچر اور top-p بھی تنوع بدلتے ہیں۔ جانچتے وقت ایک وقت میں ایک ہی سیٹنگ بدلیں۔

BroadNet Inference پر

BroadNet کا API ریفرنس frequency_penalty، presence_penalty یا repetition_penalty کو دستاویز نہیں کرتا۔ بھروسا کرنے سے پہلے انہیں جانچیں: ایسا پرامپٹ بھیجیں جو تکرار کی طرف جاتا ہو، فیلڈ کے ساتھ اور اس کے بغیر، اور موازنہ کریں۔ اگر لمبے رنز میں تکرار نظر آئے تو واضح پرامپٹ، کم آؤٹ پٹ حد آزمائیں، یا رن روک کر کسی چیک پوائنٹ سے دوبارہ شروع کریں؛ رات بھر چلنے والے ایجنٹ رنز والی پوسٹ یہی طریقہ سمجھاتی ہے۔

عام غلطیاں

  • پرامپٹ کا مسئلہ حل کرنے کے لیے پینلٹیز اونچی کر دینا۔ تکرار کا مطلب اکثر یہ ہوتا ہے کہ ماڈل کے پاس رکنے کا واضح نقطہ نہیں۔
  • اسٹرکچرڈ آؤٹ پٹ پر پینلٹی لگانا، جہاں keys کو دہرانا ہی پڑتا ہے۔

عام سوالات

فریکوئنسی اور پریزنس پینلٹی میں کیا فرق ہے؟

پریزنس پینلٹی پوچھتی ہے "کیا یہ ٹوکن آ چکا ہے؟" اور ایک بار لگتی ہے۔ فریکوئنسی پینلٹی پوچھتی ہے "کتنی بار؟" اور ہر تکرار کے ساتھ بڑھتی ہے۔ vLLM انہیں اس بنیاد پر پینلٹی بتاتا ہے کہ ٹوکن اب تک کے متن میں آیا یا نہیں، اور کتنی بار آیا۔

کیا repetition_penalty بھی یہی چیز ہے؟

نہیں۔ یہ vLLM اور Hugging Face میں استعمال ہونے والا الگ ضارب ہے، جہاں 1.0 کا مطلب کوئی پینلٹی نہیں۔ vLLM اسے صرف آؤٹ پٹ پر نہیں، پرامپٹ اور آؤٹ پٹ دونوں کے ٹوکنز پر لگاتا ہے۔

کیا BroadNet Inference یہ پینلٹیز سپورٹ کرتا ہے؟

BroadNet کا API ریفرنس frequency_penalty، presence_penalty یا repetition_penalty کو دستاویز نہیں کرتا۔ بھروسا کرنے سے پہلے انہیں جانچیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں