Ang top-p ang nagpapasya kung aling mga token ang puwedeng isali sa bunutan bago pumili ang model.
Paano ito gumagana
Ipinakilala nina Holtzman ang nucleus sampling noong 2019. Dine-define nila ang top-p vocabulary bilang pinakamaliit na set ng token na ang cumulative probability ay hindi bababa sa p. Zero ang probability ng bawat token sa labas ng set na iyon. Nire-rescale ang natitira para maging isa ang kabuuan, at doon kinukuha ang susunod na token. Gumamit ng p = 0.95 ang mga pangunahing resulta nila.
Nagbabago ang laki ng set sa bawat hakbang:
| Distribution ng susunod na token | Mga token na naitatabi sa p = 0.9 |
|---|---|
| Isang token na 0.95 | 1 |
| Apat na token na 0.3, 0.3, 0.2, 0.15 | 4 |
| Mahaba at pantay na pagkakalat | marami |
Iyan ang punto ng method. Ayon sa paper, ang “less reliable tail” (Salin ng BroadRouter: “hindi gaanong maaasahang buntot”) ng distribution ang nagdudulot ng sirang text, at kapag pinutol ito, iba-iba ang output nang hindi nawawala ang coherence. Hindi kayang umangkop nang ganito ng fixed na top-k: pareho ang bilang na itinatabi nito, sigurado man o hindi ang model.
Sa API ng OpenAI, 1 ang default ng top_p, ibig sabihin walang pinuputol. Nagbibigay ang reference ng halimbawang “0.1 means only the tokens comprising the top 10% probability mass are considered.” (Salin ng BroadRouter: “ang ibig sabihin ng 0.1 ay ang mga token lang na bumubuo sa top 10% ng probability mass ang isinasaalang-alang.”) 1.0 rin ang default ng Hugging Face Transformers maliban kung iba ang naka-set sa generation_config.json ng model.
Bakit ito mahalaga
- Mas kaunting kakaibang token. Inaalis ng pagputol sa buntot ang mga bihirang pili na nagpapalihis sa text, na mahalaga sa mahahabang sagot at sa panganib ng hallucination.
- Ugnayan sa temperature. Inilalapat ang temperature sa mga score; saka tinatabas ng top-p ang resulta. Mahirap hulaan ang kilos kapag sabay na tina-tune ang dalawa, kaya iminumungkahi ng OpenAI na isa lang ang baguhin.
- Debugging. Kung makita sa logprobs na pumili ang model ng token na mababa ang probability, naharang sana iyon ng mas mababang top-p.
Hindi binabago ng top-p ang presyo. Pareho ang singil sa bawat token na nabuo.
Sa BroadNet Inference
Hindi idinodokumento ng API reference ng BroadNet ang top_p, top_k o ang mga default nila. Wala ring sine-set sa dalawa ang mga request example nito. Ipapasa ng OpenAI SDK ang top_p, pero hindi sinasabi kung inilalapat ito ng isang partikular na model, kaya subukan muna sa sarili mong mga prompt bago umasa rito. Tingnan ang gabay sa Python SDK at ang post tungkol sa pag-evaluate ng model bago lumipat, na nagpapaliwanag kung bakit dapat naka-fix ang mga sampling setting habang nagkukumpara.
Mga karaniwang pagkakamali
- Sabay na pag-tune ng
top_pat temperature, tapos hindi na alam kung alin ang nagpabago sa resulta. - Pagkopya ng sampling setting mula sa isang model papunta sa iba. Magkakaiba ang inirerekomendang value bawat model.