मॉडल जो भी टोकन लिखता है, वह एक प्रायिकता वितरण से चुना जाता है। लॉगप्रॉब्स उस वितरण को, एक-एक टोकन करके, सामने लाते हैं।
यह कैसे काम करता है
हर कदम पर मॉडल अपनी शब्दावली के हर टोकन को स्कोर देता है और स्कोर को प्रायिकताओं में बदलता है। API चुने गए टोकन की प्रायिकता का प्राकृतिक लॉग (natural log) बता सकता है। लॉग इसलिए लिया जाता है क्योंकि असली संख्याएँ बहुत छोटी हो जाती हैं; लॉग जोड़ना प्रायिकताओं को गुणा करने के बराबर है।
OpenAI के Chat Completions API में इन्हें अनुरोध के दो फ़ील्ड से माँगा जाता है:
logprobs: trueहर आउटपुट टोकन की लॉग प्रायिकता लौटाता है।top_logprobs“an integer between 0 and 20” (अनुवाद: 0 और 20 के बीच एक पूर्णांक) है, जो बताता है कि हर जगह कितने संभावित विकल्प दिखाए जाएँ। इसके लिएlogprobs: trueज़रूरी है।
choices[0].logprobs.content की हर एंट्री में token, उसका logprob, उसके UTF-8 bytes और एक top_logprobs सूची होती है। exp(logprob) से बदलें:
| logprob | प्रायिकता |
|---|---|
| 0 | 1.00 |
| -0.105 | लगभग 0.90 |
| -0.693 | लगभग 0.50 |
| -2.303 | लगभग 0.10 |
यह क्यों मायने रखता है
OpenAI की cookbook इनके व्यावहारिक इस्तेमाल बताती है:
- क्लासिफ़िकेशन का भरोसा. एक शब्द का लेबल माँगें और उस टोकन का logprob पढ़ें। कम भरोसे वाले आइटम इंसान के पास भेजें।
- रिट्रीवल की जाँच. पूछें कि दिया गया कॉन्टेक्स्ट सवाल का जवाब देता है या नहीं, और “yes” की प्रायिकता को स्कोर मानें। cookbook इसे हैलुसिनेशन घटाने से जोड़ती है।
- ऑटोकम्प्लीट. अगला शब्द तभी सुझाएँ जब मॉडल आश्वस्त हो।
- Perplexity. पूरे जवाब के logprobs का औसत लें, उसका चिह्न उलटें और e की उतनी घात लें। कम perplexity का मतलब है कि मॉडल को टेक्स्ट ज़्यादा अनुमान लगाने लायक़ लगा।
लॉगप्रॉब्स सैंपलिंग को भी दिखाई देने लायक़ बनाते हैं। टेम्परेचर या top-p बढ़ाने से कम प्रायिकता वाले टोकन अंदर आने लगते हैं, और logprobs यह दिखा देते हैं। ये LLM-as-judge स्टेप का सस्ता साथी हैं, क्योंकि ये जवाब के साथ ही आते हैं, किसी अतिरिक्त अनुरोध के बिना।
BroadNet Inference पर
BroadNet का API रेफ़रंस किसी भी मॉडल के लिए logprobs या top_logprobs डॉक्यूमेंट नहीं करता। यह न मानें कि कोई OpenAI-कम्पैटिबल एंडपॉइंट इन्हें लौटाएगा ही। logprobs: true के साथ एक अनुरोध भेजें, देखें कि choices[0].logprobs भरा है या नहीं, और न भरा हो तो जज प्रॉम्प्ट जैसा कोई फ़ॉलबैक तय करें। टेस्ट के लिए क्लाइंट सेटअप Python SDK गाइड में है।
आम ग़लतियाँ
- ऊँचे logprob को सही तथ्य का सबूत मान लेना। इसका मतलब सिर्फ़ इतना है कि मॉडल को उसी टोकन की उम्मीद थी।
- अलग-अलग मॉडल के logprobs की तुलना करना। टोकनाइज़र और कैलिब्रेशन अलग होते हैं, इसलिए संख्याएँ एक पैमाने पर नहीं होतीं।