BroadRouter

Penalti kekerapan dan kehadiran

Dikemas kini

Penalti kekerapan dan kehadiran (frequency dan presence penalty) ialah tetapan pensampelan yang merendahkan skor token yang sudah ada dalam output. Penalti kehadiran dikenakan sekali sebaik token muncul; penalti kekerapan meningkat dengan setiap ulangan. Dalam API OpenAI, julat kedua-duanya -2.0 hingga 2.0, dengan nilai lalai 0.

Juga dikenali sebagai: penalti kekerapan, penalti kehadiran, penalti ulangan, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Model yang tersekat dalam gelung mengulangi frasa yang sama sehingga token habis. Penalti ialah penyelesaian kasar yang dikenakan semasa pensampelan.

Cara ia berfungsi

Sebelum setiap token seterusnya dicabut, pelayan melaraskan skor token yang sudah dijana.

Tetapan Apa yang dihukum, menurut dokumentasi vLLM Julat dan nilai lalai
presence_penalty Token “based on whether they appear in the generated text so far” (berdasarkan sama ada ia muncul dalam teks yang dijana setakat ini) OpenAI: -2.0 hingga 2.0, lalai 0
frequency_penalty Token “based on their frequency in the generated text so far” (berdasarkan kekerapannya dalam teks yang dijana setakat ini) OpenAI: -2.0 hingga 2.0, lalai 0
repetition_penalty Token “based on whether they appear in the prompt and the generated text so far” (berdasarkan sama ada ia muncul dalam prompt dan teks yang dijana setakat ini) vLLM dan Hugging Face: 1.0 bermaksud tiada penalti

Nilai positif menolak model menjauhi token yang sudah digunakan; nilai negatif menjadikan ulangan lebih mungkin. OpenAI menyatakan frequency penalty yang positif merendahkan “the model’s likelihood to repeat the same line verbatim” (kemungkinan model mengulangi baris yang sama perkataan demi perkataan), dan presence penalty yang positif menaikkan “the model’s likelihood to talk about new topics” (kemungkinan model bercakap tentang topik baharu). Bagi repetition_penalty, vLLM menyatakan nilai melebihi 1 mengutamakan token baharu dan nilai bawah 1 mengutamakan ulangan. Dokumentasi Hugging Face merujuk kepada kertas CTRL untuk penalti ini.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Mengapa ia penting

  • Gelung dalam output panjang. Ejen dan ringkasan panjang boleh terjerumus ke dalam teks berulang. Penalti kecil boleh memecahkan gelung itu, dan had max_tokens yang ketat mengehadkan kerosakan.
  • Kesan sampingan. Penalti bertindak pada token, bukan idea. Penalti yang kuat boleh menghalang model daripada menggunakan semula perkataan yang diperlukannya, seperti nama pemboleh ubah dalam kod, kunci JSON, atau nama dalam teks Arab yang memang berulang. Mulakan pada 0 dan ubah sedikit demi sedikit.
  • Pertindihan dengan pensampelan. Temperature dan top-p juga mengubah kepelbagaian. Ubah satu tetapan pada satu masa semasa menguji.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan frequency_penalty, presence_penalty atau repetition_penalty. Uji sebelum bergantung padanya: hantar prompt yang cenderung berulang, dengan dan tanpa medan itu, dan bandingkan. Jika ulangan muncul dalam larian panjang, cuba prompt yang lebih jelas, had output yang lebih rendah, atau hentikan larian dan sambung semula dari titik semak; artikel larian ejen semalaman membincangkan corak itu.

Kesilapan biasa

  • Menetapkan penalti yang tinggi untuk membetulkan masalah prompt. Ulangan selalunya bermaksud model tiada titik henti yang jelas.
  • Menggunakan penalti pada output berstruktur, di mana kunci mesti berulang.

Soalan lazim

Apakah perbezaan antara frequency penalty dan presence penalty?

Presence penalty bertanya "adakah token ini sudah muncul?" dan dikenakan sekali. Frequency penalty bertanya "berapa kerap?" dan meningkat dengan setiap ulangan. vLLM menerangkan kedua-duanya sebagai menghukum token berdasarkan sama ada ia muncul dan berdasarkan kekerapannya dalam teks setakat ini.

Adakah repetition_penalty perkara yang sama?

Tidak. Ia pendarab berasingan yang digunakan oleh vLLM dan Hugging Face, di mana 1.0 bermaksud tiada penalti. vLLM mengenakannya pada token dalam prompt dan output, bukan output sahaja.

Adakah BroadNet Inference menyokong penalti ini?

Rujukan API BroadNet tidak mendokumenkan frequency_penalty, presence_penalty atau repetition_penalty. Uji sebelum bergantung padanya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity