लूप में फँसा मॉडल एक ही वाक्यांश तब तक दोहराता है जब तक उसके टोकन ख़त्म न हो जाएँ। पेनल्टी सैंपलिंग के समय लगाया जाने वाला एक मोटा-सा इलाज है।
यह कैसे काम करता है
हर अगला टोकन चुनने से पहले सर्वर उन टोकन के स्कोर बदलता है जो पहले जनरेट हो चुके हैं।
| सेटिंग | vLLM के डॉक्स के मुताबिक़ किस पर पेनल्टी | रेंज और डिफ़ॉल्ट |
|---|---|---|
presence_penalty |
टोकन पर, “based on whether they appear in the generated text so far” (अनुवाद: इस आधार पर कि वे अब तक के जनरेट टेक्स्ट में आए या नहीं) | OpenAI: -2.0 से 2.0, डिफ़ॉल्ट 0 |
frequency_penalty |
टोकन पर, “based on their frequency in the generated text so far” (अनुवाद: अब तक के जनरेट टेक्स्ट में उनकी बारंबारता के आधार पर) | OpenAI: -2.0 से 2.0, डिफ़ॉल्ट 0 |
repetition_penalty |
टोकन पर, “based on whether they appear in the prompt and the generated text so far” (अनुवाद: इस आधार पर कि वे प्रॉम्प्ट और अब तक के जनरेट टेक्स्ट में आए या नहीं) | vLLM और Hugging Face: 1.0 का मतलब कोई पेनल्टी नहीं |
पॉज़िटिव वैल्यू इस्तेमाल हो चुके टोकन से दूर धकेलती हैं; नेगेटिव वैल्यू दोहराव की संभावना बढ़ाती हैं। OpenAI कहता है कि पॉज़िटिव फ़्रीक्वेंसी पेनल्टी “the model’s likelihood to repeat the same line verbatim” (अनुवाद: मॉडल के वही लाइन ज्यों की त्यों दोहराने की संभावना) घटाती है, और पॉज़िटिव प्रेज़ेंस पेनल्टी “the model’s likelihood to talk about new topics” (अनुवाद: मॉडल के नए विषयों पर बात करने की संभावना) बढ़ाती है। repetition_penalty के लिए vLLM कहता है कि 1 से ऊपर की वैल्यू नए टोकन को बढ़ावा देती हैं और 1 से नीचे की वैल्यू दोहराव को। Hugging Face के डॉक्स इस पेनल्टी के लिए CTRL पेपर का हवाला देते हैं।
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
यह क्यों मायने रखता है
- लंबे आउटपुट में लूप. एजेंट और लंबे सारांश दोहराव में फँस सकते हैं। छोटी-सी पेनल्टी लूप तोड़ सकती है, और max_tokens की पक्की सीमा नुक़सान को सीमित रखती है।
- साइड इफ़ेक्ट. पेनल्टी टोकन पर लगती है, विचारों पर नहीं। तेज़ पेनल्टी मॉडल को वे शब्द दोबारा इस्तेमाल करने से रोक सकती है जिनकी उसे ज़रूरत है, जैसे कोड में किसी वेरिएबल का नाम, कोई JSON key, या अरबी टेक्स्ट में कोई नाम जो जानबूझकर दोहराया जाता है। 0 से शुरू करें और छोटे क़दमों में बदलें।
- सैंपलिंग से टकराव. टेम्परेचर और top-p भी विविधता बदलते हैं। टेस्ट करते समय एक बार में एक ही सेटिंग बदलें।
BroadNet Inference पर
BroadNet का API रेफ़रंस frequency_penalty, presence_penalty या repetition_penalty को डॉक्यूमेंट नहीं करता। भरोसा करने से पहले इन्हें टेस्ट करें: ऐसा प्रॉम्प्ट भेजें जो दोहराव की ओर जाता हो, फ़ील्ड के साथ और उसके बिना, और तुलना करें। अगर लंबे रन में दोहराव दिखे, तो साफ़ प्रॉम्प्ट, कम आउटपुट सीमा आज़माएँ, या रन रोककर किसी चेकपॉइंट से दोबारा शुरू करें; रात भर चलने वाले एजेंट रन वाली पोस्ट यही तरीक़ा समझाती है।
आम ग़लतियाँ
- प्रॉम्प्ट की समस्या ठीक करने के लिए पेनल्टी ऊँची कर देना। दोहराव का मतलब अक्सर यह होता है कि मॉडल के पास रुकने का साफ़ बिंदु नहीं है।
- स्ट्रक्चर्ड आउटपुट पर पेनल्टी लगाना, जहाँ keys को दोहराना ही पड़ता है।