BroadRouter
Mulakan

Top-p (pensampelan nukleus)

Dikemas kini

Top-p, juga dipanggil pensampelan nukleus (nucleus sampling), ialah kaedah penyahkodan di mana model bahasa memilih token seterusnya hanya daripada set terkecil token paling mungkin yang jumlah kebarangkaliannya mencapai ambang p, seperti 0.9, dan membuang ekor yang tidak mungkin.

Juga dikenali sebagai: pensampelan nukleus, parameter top_p, top-p LLM, nucleus sampling, top_p, top-p sampling

Top-p menentukan token mana yang dibenarkan masuk ke dalam cabutan sebelum model memilih satu.

Cara ia berfungsi

Holtzman dan rakan-rakan memperkenalkan pensampelan nukleus pada 2019. Mereka mentakrifkan perbendaharaan kata top-p sebagai set token terkecil yang kebarangkalian kumulatifnya sekurang-kurangnya p. Setiap token di luar set itu diberi kebarangkalian sifar. Bakinya diskalakan semula supaya jumlahnya satu, dan token seterusnya dipilih daripadanya. Keputusan utama mereka menggunakan p = 0.95.

Saiz set berubah pada setiap langkah:

Taburan token seterusnya Token yang disimpan pada p = 0.9
Satu token pada 0.95 1
Empat token pada 0.3, 0.3, 0.2, 0.15 4
Taburan panjang yang rata banyak

Itulah inti kaedah ini. Kertas kajian itu berhujah bahawa “less reliable tail” (Terjemahan BroadRouter: “ekor yang kurang boleh dipercayai”) dalam taburan menyebabkan teks yang merosot, dan memotongnya memberikan output yang pelbagai tanpa kehilangan koheren. Top-k yang tetap tidak boleh menyesuaikan diri begini: ia menyimpan bilangan yang sama sama ada model yakin atau tidak.

Dalam API OpenAI, nilai lalai top_p ialah 1, iaitu tiada pemotongan. Rujukannya memberi contoh bahawa “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Terjemahan BroadRouter: “0.1 bermaksud hanya token yang membentuk 10% teratas jisim kebarangkalian diambil kira.”) Hugging Face Transformers juga menggunakan nilai lalai 1.0 melainkan generation_config.json model menetapkan nilai lain.

Mengapa ia penting

  • Kurang token pelik. Memotong ekor membuang pilihan jarang yang membuatkan teks menyimpang, perkara penting bagi jawapan panjang dan risiko halusinasi.
  • Interaksi dengan temperature. Temperature dikenakan pada skor; top-p kemudian memangkas hasilnya. Menala kedua-duanya serentak menjadikan tingkah laku sukar dijangka, sebab itu OpenAI mencadangkan hanya satu diubah.
  • Penyahpepijatan. Jika logprobs menunjukkan model memilih token berkebarangkalian rendah, top-p yang lebih rendah akan menyekatnya.

Top-p tidak mengubah harga. Setiap token yang dijana dibilkan sama.

Di BroadNet Inference

Rujukan API BroadNet tidak mendokumenkan top_p, top_k atau nilai lalai kedua-duanya. Contoh permintaannya tidak menetapkan mana-mana satu. SDK OpenAI akan menghantar top_p, tetapi tidak dinyatakan sama ada sesuatu model menggunakannya, jadi uji pada prompt anda sendiri sebelum bergantung padanya. Lihat panduan Python SDK dan artikel tentang menilai model sebelum bertukar, yang menerangkan mengapa tetapan pensampelan mesti ditetapkan semasa perbandingan.

Kesilapan biasa

  • Menala top_p dan temperature bersama-sama, kemudian tidak tahu yang mana satu mengubah hasilnya.
  • Menyalin tetapan pensampelan daripada satu model ke model lain. Nilai yang disyorkan berbeza mengikut model.

Soalan lazim

Apakah perbezaan antara top-p dan temperature?

Temperature mengubah bentuk semua kebarangkalian token. Top-p memotong ekor yang tidak mungkin dan memilih daripada baki sahaja. OpenAI mengesyorkan anda mengubah salah satu sahaja, bukan kedua-duanya.

Apakah perbezaan antara top-p dan top-k?

Top-k menyimpan bilangan token yang tetap, seperti 50. Top-p menyimpan seberapa banyak token yang diperlukan untuk mencapai ambang kebarangkalian, jadi setnya kecil apabila model yakin dan besar apabila tidak.

Adakah BroadNet mendokumenkan top_p?

Tidak. Rujukan API BroadNet tidak menyenaraikan top_p atau nilai lalainya untuk mana-mana model. Tetapkannya dalam permintaan dan uji kesannya sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity