BroadRouter
शुरू करें

लॉगप्रॉब्स (logprobs)

अपडेट किया गया

लॉगप्रॉब्स वे लॉग प्रायिकताएँ हैं जो लैंग्वेज मॉडल ने अपने जनरेट किए टोकन को दीं। इन्हें लौटाने वाला API हर आउटपुट टोकन के लिए दिखाता है कि मॉडल ने उसे कितना संभावित माना, और चाहें तो उस जगह के सबसे संभावित वैकल्पिक टोकन भी।

अन्य नाम: लॉगप्रॉब्स, लॉग प्रायिकता, टोकन प्रायिकता, logprobs kya hai, logprobs kya hote hain, logprobs, log probabilities, token log probabilities, top_logprobs, token probabilities

मॉडल जो भी टोकन लिखता है, वह एक प्रायिकता वितरण से चुना जाता है। लॉगप्रॉब्स उस वितरण को, एक-एक टोकन करके, सामने लाते हैं।

यह कैसे काम करता है

हर कदम पर मॉडल अपनी शब्दावली के हर टोकन को स्कोर देता है और स्कोर को प्रायिकताओं में बदलता है। API चुने गए टोकन की प्रायिकता का प्राकृतिक लॉग (natural log) बता सकता है। लॉग इसलिए लिया जाता है क्योंकि असली संख्याएँ बहुत छोटी हो जाती हैं; लॉग जोड़ना प्रायिकताओं को गुणा करने के बराबर है।

OpenAI के Chat Completions API में इन्हें अनुरोध के दो फ़ील्ड से माँगा जाता है:

  • logprobs: true हर आउटपुट टोकन की लॉग प्रायिकता लौटाता है।
  • top_logprobs “an integer between 0 and 20” (अनुवाद: 0 और 20 के बीच एक पूर्णांक) है, जो बताता है कि हर जगह कितने संभावित विकल्प दिखाए जाएँ। इसके लिए logprobs: true ज़रूरी है।

choices[0].logprobs.content की हर एंट्री में token, उसका logprob, उसके UTF-8 bytes और एक top_logprobs सूची होती है। exp(logprob) से बदलें:

logprob प्रायिकता
0 1.00
-0.105 लगभग 0.90
-0.693 लगभग 0.50
-2.303 लगभग 0.10

यह क्यों मायने रखता है

OpenAI की cookbook इनके व्यावहारिक इस्तेमाल बताती है:

  • क्लासिफ़िकेशन का भरोसा. एक शब्द का लेबल माँगें और उस टोकन का logprob पढ़ें। कम भरोसे वाले आइटम इंसान के पास भेजें।
  • रिट्रीवल की जाँच. पूछें कि दिया गया कॉन्टेक्स्ट सवाल का जवाब देता है या नहीं, और “yes” की प्रायिकता को स्कोर मानें। cookbook इसे हैलुसिनेशन घटाने से जोड़ती है।
  • ऑटोकम्प्लीट. अगला शब्द तभी सुझाएँ जब मॉडल आश्वस्त हो।
  • Perplexity. पूरे जवाब के logprobs का औसत लें, उसका चिह्न उलटें और e की उतनी घात लें। कम perplexity का मतलब है कि मॉडल को टेक्स्ट ज़्यादा अनुमान लगाने लायक़ लगा।

लॉगप्रॉब्स सैंपलिंग को भी दिखाई देने लायक़ बनाते हैं। टेम्परेचर या top-p बढ़ाने से कम प्रायिकता वाले टोकन अंदर आने लगते हैं, और logprobs यह दिखा देते हैं। ये LLM-as-judge स्टेप का सस्ता साथी हैं, क्योंकि ये जवाब के साथ ही आते हैं, किसी अतिरिक्त अनुरोध के बिना।

BroadNet Inference पर

BroadNet का API रेफ़रंस किसी भी मॉडल के लिए logprobs या top_logprobs डॉक्यूमेंट नहीं करता। यह न मानें कि कोई OpenAI-कम्पैटिबल एंडपॉइंट इन्हें लौटाएगा ही। logprobs: true के साथ एक अनुरोध भेजें, देखें कि choices[0].logprobs भरा है या नहीं, और न भरा हो तो जज प्रॉम्प्ट जैसा कोई फ़ॉलबैक तय करें। टेस्ट के लिए क्लाइंट सेटअप Python SDK गाइड में है।

आम ग़लतियाँ

  • ऊँचे logprob को सही तथ्य का सबूत मान लेना। इसका मतलब सिर्फ़ इतना है कि मॉडल को उसी टोकन की उम्मीद थी।
  • अलग-अलग मॉडल के logprobs की तुलना करना। टोकनाइज़र और कैलिब्रेशन अलग होते हैं, इसलिए संख्याएँ एक पैमाने पर नहीं होतीं।

अक्सर पूछे जाने वाले सवाल

logprob को प्रतिशत में कैसे बदलें?

e की घात logprob लें। -0.105 का logprob लगभग 0.90, यानी 90% है। 0 का logprob मतलब मॉडल ने उस टोकन को प्रायिकता 1 दी।

क्या logprobs बताते हैं कि जवाब सच है?

नहीं। ये बताते हैं कि मॉडल अपने शब्दों को लेकर कितना आश्वस्त था, यह नहीं कि तथ्य सही है। मॉडल पूरे भरोसे के साथ ग़लत हो सकता है।

क्या BroadNet Inference, logprobs लौटाता है?

BroadNet का API रेफ़रंस logprobs को डॉक्यूमेंट नहीं करता। logprobs को true रखकर एक टेस्ट अनुरोध भेजें और इस पर कुछ बनाने से पहले जवाब देख लें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें