Inuulit ng model na naipit sa loop ang parehong parirala hanggang maubos ang mga token nito. Mapurol na lunas ang mga penalty, na inilalapat sa oras ng sampling.
Paano ito gumagana
Bago bunutin ang bawat susunod na token, inaayos ng server ang score ng mga token na nabuo na.
| Setting | Ano ang pinaparusahan, ayon sa docs ng vLLM | Range at default |
|---|---|---|
presence_penalty |
Mga token “based on whether they appear in the generated text so far” (batay sa kung lumabas na ang mga ito sa nabuong text sa ngayon) | OpenAI: -2.0 hanggang 2.0, default 0 |
frequency_penalty |
Mga token “based on their frequency in the generated text so far” (batay sa dalas nila sa nabuong text sa ngayon) | OpenAI: -2.0 hanggang 2.0, default 0 |
repetition_penalty |
Mga token “based on whether they appear in the prompt and the generated text so far” (batay sa kung lumabas na ang mga ito sa prompt at sa nabuong text sa ngayon) | vLLM at Hugging Face: ang 1.0 ay walang penalty |
Itinutulak palayo ng positive na value ang model sa mga nagamit nang token; ginagawa namang mas malamang ng negative na value ang pag-ulit. Ayon sa OpenAI, ibinababa ng positive na frequency penalty ang “the model’s likelihood to repeat the same line verbatim” (ang tsansang ulitin ng model ang parehong linya nang salita por salita), at itinataas ng positive na presence penalty ang “the model’s likelihood to talk about new topics” (ang tsansang pag-usapan ng model ang mga bagong paksa). Para sa repetition_penalty, sinasabi ng vLLM na pinapaboran ng value na lampas sa 1 ang mga bagong token, at pinapaboran ng value na mas mababa sa 1 ang pag-uulit. Itinuturo ng docs ng Hugging Face ang CTRL paper para sa penalty na ito.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Bakit ito mahalaga
- Mga loop sa mahahabang output. Puwedeng mahulog sa paulit-ulit na text ang mga agent at mahahabang summary. Kayang putulin ng maliit na penalty ang loop, at nililimitahan ng mahigpit na max_tokens ang pinsala.
- Mga side effect. Sa token kumikilos ang mga penalty, hindi sa ideya. Kayang pigilan ng malakas na penalty ang model na gamitin ulit ang mga salitang kailangan nito, gaya ng pangalan ng variable sa code, JSON key, o pangalan sa Arabic na text na sadyang umuulit. Magsimula sa 0 at magbago nang paunti-unti.
- Overlap sa sampling. Binabago rin ng temperature at top-p ang pagkakaiba-iba. Isang setting lang ang baguhin bawat test.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang frequency_penalty, presence_penalty o repetition_penalty. Subukan muna ang mga ito bago umasa: magpadala ng prompt na madalas umulit, may field at wala, at ikumpara. Kung lumalabas ang pag-uulit sa mahahabang run, subukan ang mas malinaw na prompt, mas mababang output limit, o ihinto ang run at ituloy mula sa isang checkpoint; tinatalakay ng post tungkol sa overnight na agent run ang pattern na iyon.
Mga karaniwang pagkakamali
- Pag-set ng mataas na penalty para ayusin ang problema sa prompt. Kadalasang ibig sabihin ng pag-uulit ay walang malinaw na hintuan ang model.
- Paggamit ng penalty sa structured output, kung saan kailangang umulit ang mga key.