BroadRouter

Frequency at presence penalty

Na-update

Ang frequency at presence penalty ay mga sampling setting na nagbababa sa score ng mga token na nasa output na. Isang beses inilalapat ang presence penalty kapag lumabas na ang token; lumalaki naman ang frequency penalty sa bawat pag-ulit. Sa API ng OpenAI, parehong -2.0 hanggang 2.0 ang range, at 0 ang default.

Tinatawag ding: penalty sa pag-uulit, paulit-ulit na output, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Inuulit ng model na naipit sa loop ang parehong parirala hanggang maubos ang mga token nito. Mapurol na lunas ang mga penalty, na inilalapat sa oras ng sampling.

Paano ito gumagana

Bago bunutin ang bawat susunod na token, inaayos ng server ang score ng mga token na nabuo na.

Setting Ano ang pinaparusahan, ayon sa docs ng vLLM Range at default
presence_penalty Mga token “based on whether they appear in the generated text so far” (batay sa kung lumabas na ang mga ito sa nabuong text sa ngayon) OpenAI: -2.0 hanggang 2.0, default 0
frequency_penalty Mga token “based on their frequency in the generated text so far” (batay sa dalas nila sa nabuong text sa ngayon) OpenAI: -2.0 hanggang 2.0, default 0
repetition_penalty Mga token “based on whether they appear in the prompt and the generated text so far” (batay sa kung lumabas na ang mga ito sa prompt at sa nabuong text sa ngayon) vLLM at Hugging Face: ang 1.0 ay walang penalty

Itinutulak palayo ng positive na value ang model sa mga nagamit nang token; ginagawa namang mas malamang ng negative na value ang pag-ulit. Ayon sa OpenAI, ibinababa ng positive na frequency penalty ang “the model’s likelihood to repeat the same line verbatim” (ang tsansang ulitin ng model ang parehong linya nang salita por salita), at itinataas ng positive na presence penalty ang “the model’s likelihood to talk about new topics” (ang tsansang pag-usapan ng model ang mga bagong paksa). Para sa repetition_penalty, sinasabi ng vLLM na pinapaboran ng value na lampas sa 1 ang mga bagong token, at pinapaboran ng value na mas mababa sa 1 ang pag-uulit. Itinuturo ng docs ng Hugging Face ang CTRL paper para sa penalty na ito.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Bakit ito mahalaga

  • Mga loop sa mahahabang output. Puwedeng mahulog sa paulit-ulit na text ang mga agent at mahahabang summary. Kayang putulin ng maliit na penalty ang loop, at nililimitahan ng mahigpit na max_tokens ang pinsala.
  • Mga side effect. Sa token kumikilos ang mga penalty, hindi sa ideya. Kayang pigilan ng malakas na penalty ang model na gamitin ulit ang mga salitang kailangan nito, gaya ng pangalan ng variable sa code, JSON key, o pangalan sa Arabic na text na sadyang umuulit. Magsimula sa 0 at magbago nang paunti-unti.
  • Overlap sa sampling. Binabago rin ng temperature at top-p ang pagkakaiba-iba. Isang setting lang ang baguhin bawat test.

Sa BroadNet Inference

Hindi idinodokumento ng API reference ng BroadNet ang frequency_penalty, presence_penalty o repetition_penalty. Subukan muna ang mga ito bago umasa: magpadala ng prompt na madalas umulit, may field at wala, at ikumpara. Kung lumalabas ang pag-uulit sa mahahabang run, subukan ang mas malinaw na prompt, mas mababang output limit, o ihinto ang run at ituloy mula sa isang checkpoint; tinatalakay ng post tungkol sa overnight na agent run ang pattern na iyon.

Mga karaniwang pagkakamali

  • Pag-set ng mataas na penalty para ayusin ang problema sa prompt. Kadalasang ibig sabihin ng pag-uulit ay walang malinaw na hintuan ang model.
  • Paggamit ng penalty sa structured output, kung saan kailangang umulit ang mga key.

Mga tanong

Ano ang pagkakaiba ng frequency at presence penalty?

Ang tanong ng presence penalty ay "lumabas na ba ang token na ito?" at isang beses itong inilalapat. Ang tanong ng frequency penalty ay "gaano kadalas?" at lumalaki ito sa bawat pag-ulit. Inilalarawan ng vLLM na pinaparusahan ng mga ito ang token batay sa kung lumabas na ito at sa dalas nito sa text sa ngayon.

Pareho rin ba ang repetition_penalty?

Hindi. Hiwalay itong multiplier na ginagamit ng vLLM at Hugging Face, kung saan ang 1.0 ay walang penalty. Inilalapat ito ng vLLM sa mga token sa prompt at sa output, hindi lang sa output.

Sinusuportahan ba ng BroadNet Inference ang mga penalty na ito?

Hindi idinodokumento ng API reference ng BroadNet ang frequency_penalty, presence_penalty o repetition_penalty. Subukan muna ang mga ito bago umasa.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity