BroadRouter

Frekans ve varlık cezası (frequency/presence penalty)

Güncellendi

Frekans ve varlık cezaları, çıktıda zaten bulunan token'ların puanını düşüren örnekleme ayarlarıdır. Varlık cezası (presence penalty), bir token bir kez göründüğünde uygulanır; frekans cezası (frequency penalty) her tekrarda artar. OpenAI'nin API'sinde ikisinin de aralığı -2.0 ile 2.0 arasıdır ve varsayılan 0'dır.

Diğer adları: frekans cezası, varlık cezası, tekrar cezası, frequency penalty, presence penalty, frequency_penalty, presence_penalty, repetition penalty

Döngüye takılan bir model, token’ları bitene kadar aynı ifadeyi tekrarlar. Cezalar, örnekleme anında uygulanan kaba bir çözümdür.

Nasıl çalışır

Sonraki her token çekilmeden önce sunucu, zaten üretilmiş token’ların puanlarını ayarlar.

Ayar vLLM belgelerine göre neyi cezalandırır Aralık ve varsayılan
presence_penalty Token’ları “based on whether they appear in the generated text so far” (çeviri: o ana kadar üretilen metinde görünüp görünmediklerine göre) OpenAI: -2.0 ile 2.0 arası, varsayılan 0
frequency_penalty Token’ları “based on their frequency in the generated text so far” (çeviri: o ana kadar üretilen metindeki sıklıklarına göre) OpenAI: -2.0 ile 2.0 arası, varsayılan 0
repetition_penalty Token’ları “based on whether they appear in the prompt and the generated text so far” (çeviri: istemde ve o ana kadar üretilen metinde görünüp görünmediklerine göre) vLLM ve Hugging Face: 1.0 ceza yok demektir

Pozitif değerler modeli kullanılmış token’lardan uzaklaştırır; negatif değerler tekrarı daha olası kılar. OpenAI’ye göre pozitif bir frekans cezası “the model’s likelihood to repeat the same line verbatim” (çeviri: modelin aynı satırı kelimesi kelimesine tekrarlama olasılığını) düşürür, pozitif bir varlık cezası ise “the model’s likelihood to talk about new topics” (çeviri: modelin yeni konulardan söz etme olasılığını) artırır. repetition_penalty için vLLM, 1’in üzerindeki değerlerin yeni token’ları, 1’in altındaki değerlerin tekrarı desteklediğini söyler. Hugging Face’in belgeleri bu ceza için CTRL makalesine atıf yapar.

{"model": "...", "messages": [...], "frequency_penalty": 0.5, "presence_penalty": 0.3}

Neden önemli

  • Uzun çıktılarda döngüler. Ajanlar ve uzun özetler tekrar eden metne düşebilir. Küçük bir ceza döngüyü kırabilir; kesin bir max_tokens sınırı ise zararı sınırlar.
  • Yan etkiler. Cezalar fikirlere değil token’lara etki eder. Güçlü bir ceza, modelin ihtiyaç duyduğu kelimeleri yeniden kullanmasını engelleyebilir: koddaki bir değişken adı, bir JSON anahtarı veya bilerek tekrar eden Arapça bir metindeki bir isim gibi. 0’dan başlayın ve küçük adımlarla değiştirin.
  • Örneklemeyle örtüşme. Sıcaklık ve top-p da çeşitliliği değiştirir. Test ederken her seferinde tek bir ayarı değiştirin.

BroadNet Inference’ta

BroadNet’in API referansı frequency_penalty, presence_penalty veya repetition_penalty alanlarını belgelemez. Güvenmeden önce test edin: tekrara eğilimli bir istemi alanla ve alansız gönderin, sonuçları karşılaştırın. Uzun çalıştırmalarda tekrar ortaya çıkarsa daha net bir istem, daha düşük bir çıktı sınırı deneyin ya da çalıştırmayı durdurup bir kontrol noktasından devam edin; gece boyu ajan çalıştırma yazısı bu yöntemi anlatır.

Sık yapılan hatalar

  • Bir istem sorununu çözmek için cezaları yüksek ayarlamak. Tekrar çoğu zaman modelin net bir durma noktası olmadığı anlamına gelir.
  • Anahtarların tekrar etmesi gereken yapılandırılmış çıktıda ceza kullanmak.

Sık sorulan sorular

Frequency penalty ile presence penalty arasındaki fark nedir?

Varlık cezası "bu token göründü mü?" diye sorar ve bir kez uygulanır. Frekans cezası "kaç kez?" diye sorar ve her tekrarda artar. vLLM bunları, token'ları o ana kadarki metinde görünüp görünmediklerine ve sıklıklarına göre cezalandıran ayarlar olarak tanımlar.

repetition_penalty aynı şey mi?

Hayır. vLLM ve Hugging Face'in kullandığı ayrı bir çarpandır; 1.0 ceza olmadığı anlamına gelir. vLLM onu yalnızca çıktıdaki değil, istemdeki ve çıktıdaki token'lara uygular.

BroadNet Inference bu cezaları destekliyor mu?

BroadNet'in API referansı frequency_penalty, presence_penalty veya repetition_penalty alanlarını belgelemez. Güvenmeden önce test edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor