Döngüye takılan bir model, token’ları bitene kadar aynı ifadeyi tekrarlar. Cezalar, örnekleme anında uygulanan kaba bir çözümdür.
Nasıl çalışır
Sonraki her token çekilmeden önce sunucu, zaten üretilmiş token’ların puanlarını ayarlar.
| Ayar | vLLM belgelerine göre neyi cezalandırır | Aralık ve varsayılan |
|---|---|---|
presence_penalty |
Token’ları “based on whether they appear in the generated text so far” (çeviri: o ana kadar üretilen metinde görünüp görünmediklerine göre) | OpenAI: -2.0 ile 2.0 arası, varsayılan 0 |
frequency_penalty |
Token’ları “based on their frequency in the generated text so far” (çeviri: o ana kadar üretilen metindeki sıklıklarına göre) | OpenAI: -2.0 ile 2.0 arası, varsayılan 0 |
repetition_penalty |
Token’ları “based on whether they appear in the prompt and the generated text so far” (çeviri: istemde ve o ana kadar üretilen metinde görünüp görünmediklerine göre) | vLLM ve Hugging Face: 1.0 ceza yok demektir |
Pozitif değerler modeli kullanılmış token’lardan uzaklaştırır; negatif değerler tekrarı daha olası kılar. OpenAI’ye göre pozitif bir frekans cezası “the model’s likelihood to repeat the same line verbatim” (çeviri: modelin aynı satırı kelimesi kelimesine tekrarlama olasılığını) düşürür, pozitif bir varlık cezası ise “the model’s likelihood to talk about new topics” (çeviri: modelin yeni konulardan söz etme olasılığını) artırır. repetition_penalty için vLLM, 1’in üzerindeki değerlerin yeni token’ları, 1’in altındaki değerlerin tekrarı desteklediğini söyler. Hugging Face’in belgeleri bu ceza için CTRL makalesine atıf yapar.
{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}
Neden önemli
- Uzun çıktılarda döngüler. Ajanlar ve uzun özetler tekrar eden metne düşebilir. Küçük bir ceza döngüyü kırabilir; kesin bir max_tokens sınırı ise zararı sınırlar.
- Yan etkiler. Cezalar fikirlere değil token’lara etki eder. Güçlü bir ceza, modelin ihtiyaç duyduğu kelimeleri yeniden kullanmasını engelleyebilir: koddaki bir değişken adı, bir JSON anahtarı veya bilerek tekrar eden Arapça bir metindeki bir isim gibi. 0’dan başlayın ve küçük adımlarla değiştirin.
- Örneklemeyle örtüşme. Sıcaklık ve top-p da çeşitliliği değiştirir. Test ederken her seferinde tek bir ayarı değiştirin.
BroadNet Inference’ta
BroadNet’in API referansı frequency_penalty, presence_penalty veya repetition_penalty alanlarını belgelemez. Güvenmeden önce test edin: tekrara eğilimli bir istemi alanla ve alansız gönderin, sonuçları karşılaştırın. Uzun çalıştırmalarda tekrar ortaya çıkarsa daha net bir istem, daha düşük bir çıktı sınırı deneyin ya da çalıştırmayı durdurup bir kontrol noktasından devam edin; gece boyu ajan çalıştırma yazısı bu yöntemi anlatır.
Sık yapılan hatalar
- Bir istem sorununu çözmek için cezaları yüksek ayarlamak. Tekrar çoğu zaman modelin net bir durma noktası olmadığı anlamına gelir.
- Anahtarların tekrar etmesi gereken yapılandırılmış çıktıda ceza kullanmak.