BroadRouter
Mulai

Top-p (nucleus sampling)

Diperbarui

Top-p, disebut juga nucleus sampling, adalah metode decoding di mana model bahasa memilih token berikutnya hanya dari himpunan terkecil token paling mungkin yang total probabilitasnya mencapai ambang p, misalnya 0,9, lalu membuang ekor yang kecil kemungkinannya.

Disebut juga: nucleus sampling, sampling top-p, parameter top_p, top_p, top-p sampling

Top-p menentukan token mana yang boleh ikut diundi sebelum model memilih salah satunya.

Cara kerjanya

Holtzman dan rekan-rekannya memperkenalkan nucleus sampling pada 2019. Mereka mendefinisikan kosakata top-p sebagai himpunan token terkecil yang probabilitas kumulatifnya paling sedikit p. Setiap token di luar himpunan itu mendapat probabilitas nol. Sisanya diskalakan ulang agar totalnya satu, lalu token berikutnya diambil dari situ. Hasil utama mereka memakai p = 0,95.

Ukuran himpunan berubah di setiap langkah:

Distribusi token berikutnya Token yang disimpan pada p = 0,9
Satu token dengan 0,95 1
Empat token dengan 0,3, 0,3, 0,2, 0,15 4
Sebaran panjang yang datar banyak

Itulah inti metodenya. Makalah tersebut berpendapat bahwa “less reliable tail” (terjemahan: ekor yang kurang andal) dari distribusi menyebabkan teks yang rusak, dan memotongnya memberi output yang bervariasi tanpa kehilangan koherensi. Top-k yang tetap tidak bisa beradaptasi seperti ini: jumlah token yang disimpan sama, entah model yakin atau ragu.

Di API OpenAI, top_p bernilai default 1, artinya tidak ada pemotongan. Referensinya memberi contoh bahwa “0.1 means only the tokens comprising the top 10% probability mass are considered.” (terjemahan: 0.1 berarti hanya token yang membentuk 10% massa probabilitas teratas yang dipertimbangkan.) Hugging Face Transformers juga memakai default 1.0 kecuali generation_config.json milik model menetapkan nilai lain.

Kenapa ini penting

  • Lebih sedikit token aneh. Memotong ekor membuang pilihan langka yang membuat teks melantur, yang penting untuk jawaban panjang dan risiko halusinasi.
  • Interaksi dengan temperature. Temperature diterapkan pada skor; top-p lalu memangkas hasilnya. Menyetel keduanya sekaligus membuat perilaku sulit diprediksi, itulah sebabnya OpenAI menyarankan mengubah satu saja.
  • Debugging. Jika logprobs menunjukkan model memilih token berprobabilitas rendah, top-p yang lebih rendah akan memblokirnya.

Top-p tidak mengubah harga. Setiap token yang dihasilkan ditagih sama.

Di BroadNet Inference

Referensi API BroadNet tidak mendokumentasikan top_p, top_k, atau nilai default-nya. Contoh permintaannya tidak mengatur keduanya. SDK OpenAI akan meneruskan top_p, tetapi tidak disebutkan apakah model tertentu menerapkannya, jadi uji dengan prompt Anda sendiri sebelum mengandalkannya. Lihat panduan SDK Python dan artikel tentang mengevaluasi model sebelum beralih, yang menjelaskan mengapa pengaturan sampling harus tetap selama perbandingan.

Kesalahan umum

  • Menyetel top_p dan temperature bersamaan, lalu tidak tahu mana yang mengubah hasilnya.
  • Menyalin pengaturan sampling dari satu model ke model lain. Nilai yang disarankan berbeda per model.

Pertanyaan umum

Apa bedanya top-p dan temperature?

Temperature mengubah bentuk semua probabilitas token. Top-p memotong ekor yang kecil kemungkinannya lalu mengambil sampel dari sisanya. OpenAI menyarankan mengubah salah satunya saja, bukan keduanya.

Apa bedanya top-p dan top-k?

Top-k menyimpan jumlah token yang tetap, misalnya 50. Top-p menyimpan berapa pun token yang dibutuhkan untuk mencapai ambang probabilitas, jadi himpunannya kecil saat model yakin dan besar saat tidak.

Apakah BroadNet mendokumentasikan top_p?

Tidak. Referensi API BroadNet tidak mencantumkan top_p atau nilai default-nya untuk model mana pun. Atur di permintaan dan uji sendiri efeknya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity