Model yang terjebak loop mengulang frasa yang sama sampai kehabisan token. Penalti adalah perbaikan kasar yang diterapkan saat sampling.
Cara kerjanya
Sebelum setiap token berikutnya diundi, server menyesuaikan skor token yang sudah dihasilkan.
| Pengaturan | Yang dipenalti menurut dokumentasi vLLM | Rentang dan default |
|---|---|---|
presence_penalty |
Token “based on whether they appear in the generated text so far” (terjemahan: berdasarkan apakah token muncul di teks yang dihasilkan sejauh ini) | OpenAI: -2.0 hingga 2.0, default 0 |
frequency_penalty |
Token “based on their frequency in the generated text so far” (terjemahan: berdasarkan frekuensinya di teks yang dihasilkan sejauh ini) | OpenAI: -2.0 hingga 2.0, default 0 |
repetition_penalty |
Token “based on whether they appear in the prompt and the generated text so far” (terjemahan: berdasarkan apakah token muncul di prompt dan teks yang dihasilkan sejauh ini) | vLLM dan Hugging Face: 1.0 berarti tanpa penalti |
Nilai positif menjauhkan model dari token yang sudah dipakai; nilai negatif membuat pengulangan lebih mungkin. OpenAI menyebutkan frequency penalty positif menurunkan “the model’s likelihood to repeat the same line verbatim” (terjemahan: kemungkinan model mengulang baris yang sama kata per kata), dan presence penalty positif menaikkan “the model’s likelihood to talk about new topics” (terjemahan: kemungkinan model membahas topik baru). Untuk repetition_penalty, vLLM menyebutkan nilai di atas 1 mendorong token baru dan nilai di bawah 1 mendorong pengulangan. Dokumentasi Hugging Face merujuk ke makalah CTRL untuk penalti ini.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Kenapa ini penting
- Loop di output panjang. Agen dan ringkasan panjang bisa terjebak mengulang teks. Penalti kecil bisa memutus loop, dan batas max_tokens yang keras membatasi kerusakannya.
- Efek samping. Penalti bekerja pada token, bukan gagasan. Penalti yang kuat bisa menghalangi model memakai ulang kata yang dibutuhkannya, seperti nama variabel di kode, key JSON, atau nama dalam teks Arab yang memang sengaja diulang. Mulai dari 0 dan ubah sedikit demi sedikit.
- Tumpang tindih dengan sampling. Temperature dan top-p juga mengubah variasi. Ubah satu pengaturan setiap kali menguji.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan frequency_penalty, presence_penalty, atau repetition_penalty. Uji sebelum mengandalkannya: kirim prompt yang cenderung berulang, dengan dan tanpa field tersebut, lalu bandingkan. Jika pengulangan muncul di eksekusi panjang, coba prompt yang lebih jelas, batas output yang lebih rendah, atau hentikan eksekusi dan lanjutkan dari checkpoint; artikel menjalankan agen semalaman membahas pola itu.
Kesalahan umum
- Menyetel penalti tinggi untuk memperbaiki masalah prompt. Pengulangan sering berarti model tidak punya titik berhenti yang jelas.
- Memakai penalti pada output terstruktur, di mana key memang harus berulang.