Top-p menentukan token mana yang boleh ikut diundi sebelum model memilih salah satunya.
Cara kerjanya
Holtzman dan rekan-rekannya memperkenalkan nucleus sampling pada 2019. Mereka mendefinisikan kosakata top-p sebagai himpunan token terkecil yang probabilitas kumulatifnya paling sedikit p. Setiap token di luar himpunan itu mendapat probabilitas nol. Sisanya diskalakan ulang agar totalnya satu, lalu token berikutnya diambil dari situ. Hasil utama mereka memakai p = 0,95.
Ukuran himpunan berubah di setiap langkah:
| Distribusi token berikutnya | Token yang disimpan pada p = 0,9 |
|---|---|
| Satu token dengan 0,95 | 1 |
| Empat token dengan 0,3, 0,3, 0,2, 0,15 | 4 |
| Sebaran panjang yang datar | banyak |
Itulah inti metodenya. Makalah tersebut berpendapat bahwa “less reliable tail” (terjemahan: ekor yang kurang andal) dari distribusi menyebabkan teks yang rusak, dan memotongnya memberi output yang bervariasi tanpa kehilangan koherensi. Top-k yang tetap tidak bisa beradaptasi seperti ini: jumlah token yang disimpan sama, entah model yakin atau ragu.
Di API OpenAI, top_p bernilai default 1, artinya tidak ada pemotongan. Referensinya memberi contoh bahwa “0.1 means only the tokens comprising the top 10% probability mass are considered.” (terjemahan: 0.1 berarti hanya token yang membentuk 10% massa probabilitas teratas yang dipertimbangkan.) Hugging Face Transformers juga memakai default 1.0 kecuali generation_config.json milik model menetapkan nilai lain.
Kenapa ini penting
- Lebih sedikit token aneh. Memotong ekor membuang pilihan langka yang membuat teks melantur, yang penting untuk jawaban panjang dan risiko halusinasi.
- Interaksi dengan temperature. Temperature diterapkan pada skor; top-p lalu memangkas hasilnya. Menyetel keduanya sekaligus membuat perilaku sulit diprediksi, itulah sebabnya OpenAI menyarankan mengubah satu saja.
- Debugging. Jika logprobs menunjukkan model memilih token berprobabilitas rendah, top-p yang lebih rendah akan memblokirnya.
Top-p tidak mengubah harga. Setiap token yang dihasilkan ditagih sama.
Di BroadNet Inference
Referensi API BroadNet tidak mendokumentasikan top_p, top_k, atau nilai default-nya. Contoh permintaannya tidak mengatur keduanya. SDK OpenAI akan meneruskan top_p, tetapi tidak disebutkan apakah model tertentu menerapkannya, jadi uji dengan prompt Anda sendiri sebelum mengandalkannya. Lihat panduan SDK Python dan artikel tentang mengevaluasi model sebelum beralih, yang menjelaskan mengapa pengaturan sampling harus tetap selama perbandingan.
Kesalahan umum
- Menyetel
top_pdan temperature bersamaan, lalu tidak tahu mana yang mengubah hasilnya. - Menyalin pengaturan sampling dari satu model ke model lain. Nilai yang disarankan berbeda per model.