मॉडल कोई टोकन चुने, उससे पहले top-p तय करता है कि किन टोकन को चुनाव में शामिल होने दिया जाए।
यह कैसे काम करता है
Holtzman और साथियों ने 2019 में nucleus sampling पेश किया। वे top-p शब्दावली को टोकन का वह सबसे छोटा सेट बताते हैं जिसकी कुल (cumulative) प्रायिकता कम से कम p हो। इस सेट के बाहर हर टोकन की प्रायिकता शून्य हो जाती है। बाक़ी टोकन की प्रायिकताओं को दोबारा ऐसे बाँटा जाता है कि उनका जोड़ एक हो, और अगला टोकन इन्हीं में से सैंपल होता है। उनके मुख्य नतीजे p = 0.95 पर हैं।
हर कदम पर सेट का आकार बदलता है:
| अगले टोकन का वितरण | p = 0.9 पर रखे गए टोकन |
|---|---|
| एक टोकन 0.95 पर | 1 |
| चार टोकन 0.3, 0.3, 0.2, 0.15 पर | 4 |
| लंबा, सपाट फैलाव | बहुत सारे |
इस तरीक़े का मक़सद यही है। पेपर का तर्क है कि वितरण की “less reliable tail” (अनुवाद: कम भरोसेमंद पूँछ) बिगड़ा हुआ टेक्स्ट पैदा करती है, और उसे काटने से तालमेल खोए बिना अलग-अलग तरह का आउटपुट मिलता है। तय top-k ऐसे नहीं ढल सकता: मॉडल पक्का हो या दुविधा में, वह उतने ही टोकन रखता है।
OpenAI के API में top_p की डिफ़ॉल्ट वैल्यू 1 है, यानी कोई कटौती नहीं। रेफ़रंस उदाहरण देता है कि “0.1 means only the tokens comprising the top 10% probability mass are considered.” (अनुवाद: 0.1 का मतलब है कि सिर्फ़ वे टोकन देखे जाते हैं जो ऊपर के 10% प्रायिकता द्रव्यमान में आते हैं।) Hugging Face Transformers में भी डिफ़ॉल्ट 1.0 है, जब तक मॉडल की generation_config.json कोई और वैल्यू सेट न करे।
यह क्यों मायने रखता है
- कम अजीब टोकन. पूँछ काटने से वे दुर्लभ टोकन हट जाते हैं जो टेक्स्ट को भटकाते हैं। लंबे जवाबों और हैलुसिनेशन के जोखिम के लिए यह अहम है।
- temperature के साथ असर. टेम्परेचर स्कोर पर लगता है; उसके बाद top-p नतीजे को छाँटता है। दोनों को एक साथ ट्यून करने से व्यवहार का अंदाज़ा लगाना मुश्किल हो जाता है, इसीलिए OpenAI एक ही को बदलने की सलाह देता है।
- डीबगिंग. अगर logprobs दिखाएँ कि मॉडल ने कम प्रायिकता वाला टोकन चुना, तो कम top-p उसे रोक देता।
top-p से कीमत नहीं बदलती। हर जनरेट हुए टोकन का बिल एक जैसा बनता है।
BroadNet Inference पर
BroadNet का API रेफ़रंस top_p, top_k या उनकी डिफ़ॉल्ट वैल्यू को डॉक्यूमेंट नहीं करता। उसके अनुरोध के उदाहरण इनमें से कोई सेट नहीं करते। OpenAI SDK, top_p को आगे भेज देगा, लेकिन कोई मॉडल उसे लागू करता है या नहीं, यह नहीं बताया गया। इसलिए भरोसा करने से पहले अपने प्रॉम्प्ट पर टेस्ट करें। Python SDK गाइड देखें, और मॉडल बदलने से पहले उसे परखने वाली पोस्ट भी, जो बताती है कि तुलना के दौरान सैंपलिंग सेटिंग तय क्यों रखनी चाहिए।
आम ग़लतियाँ
top_pऔर temperature को एक साथ ट्यून करना, और फिर यह पता न होना कि नतीजा किसने बदला।- एक मॉडल की सैंपलिंग सेटिंग दूसरे मॉडल पर कॉपी करना। सुझाई गई वैल्यू हर मॉडल के लिए अलग होती हैं।