टेम्परेचर वह डायल है जो “हमेशा एक ही जवाब” और “हर बार अलग जवाब” के बीच घूमता है।
यह कैसे काम करता है
मॉडल हर उस टोकन के लिए एक स्कोर (logit) बनाता है जो वह आगे लिख सकता है। softmax इन स्कोर को प्रायिकताओं में बदलता है। टेम्परेचर पहले हर स्कोर को भाग देता है। Hinton और साथी softmax को इसी T के साथ लिखते हैं और कहते हैं कि “using a higher value for T produces a softer probability distribution over classes” (अनुवाद: T की ऊँची वैल्यू क्लास पर ज़्यादा नरम प्रायिकता वितरण बनाती है)।
- T, 1 से कम हो तो वितरण तीखा होता है। सबसे ऊपर वाला टोकन ज़्यादा बार जीतता है।
- T = 1 पर मॉडल की प्रायिकताएँ वैसी ही रहती हैं जैसी ट्रेनिंग में बनीं।
- T, 1 से ज़्यादा हो तो वे सपाट होती हैं। दुर्लभ टोकन ज़्यादा चुने जाते हैं।
- T, 0 के क़रीब हो तो यह greedy decoding जैसा हो जाता है: हमेशा सबसे संभावित टोकन लेना।
OpenAI का API “between 0 and 2” (अनुवाद: 0 और 2 के बीच) की वैल्यू स्वीकार करता है, डिफ़ॉल्ट 1 है। उसका रेफ़रंस कहता है कि 0.8 आउटपुट को “more random” (अनुवाद: ज़्यादा रैंडम) और 0.2 “more focused and deterministic” (अनुवाद: ज़्यादा केंद्रित और तय) बनाता है। वह “altering this or top_p but not both” (अनुवाद: इसे या top_p को बदलें, दोनों को नहीं) की सलाह भी देता है, क्योंकि top-p रैंडमनेस घटाने का दूसरा तरीक़ा है।
ओपन मॉडल अक्सर अपनी डिफ़ॉल्ट वैल्यू के साथ आते हैं। Hugging Face Transformers, temperature को मॉडल की generation_config.json से पढ़ता है, और वह न हो तो 1.0 मान लेता है। कोई सर्विंग स्टैक इनमें से कोई भी वैल्यू इस्तेमाल कर सकता है।
यह क्यों मायने रखता है
- दोहराव. एक्सट्रैक्शन, रूटिंग और स्ट्रक्चर्ड आउटपुट को स्थिर जवाब चाहिए। कम टेम्परेचर रन-दर-रन फ़र्क़ घटाता है।
- क्वालिटी. बहुत ज़्यादा हो तो मॉडल अजीब शब्दों या गढ़े हुए ब्योरों की ओर भटकता है, जिससे हैलुसिनेशन बढ़ता है। बहुत कम हो तो लंबा टेक्स्ट लूप में फँस सकता है: Hugging Face बताता है कि लंबे सीक्वेंस पर greedy decoding “begins to repeat itself” (अनुवाद: ख़ुद को दोहराने लगता है)।
- मूल्यांकन. मॉडल की तुलना करते समय टेम्परेचर तय रखें। वरना आप सैंपलिंग का शोर माप रहे होंगे। logprobs देखने से पता चलता है कि मॉडल के पास कितनी गुंजाइश थी।
टेम्परेचर से कीमत या रफ़्तार नहीं बदलती। किसी भी सेटिंग पर एक टोकन की कीमत उतनी ही है।
BroadNet Inference पर
BroadNet का API रेफ़रंस किसी भी मॉडल के लिए temperature, उसकी स्वीकार्य रेंज या डिफ़ॉल्ट को डॉक्यूमेंट नहीं करता। अनुरोध के उदाहरणों में यह सेट नहीं है। API, OpenAI-कम्पैटिबल है, इसलिए SDK यह फ़ील्ड भेजेंगे, लेकिन हर मॉडल इसे मानता है या नहीं, यह नहीं बताया गया। इसे ख़ुद सेट करें और वही प्रॉम्प्ट कई बार चलाकर देखें कि जवाब कितने अलग आते हैं। क्लाइंट सेटअप OpenAI Python SDK गाइड में है।
आम ग़लतियाँ
- temperature 0 रखकर मान लेना कि आउटपुट हमेशा एक जैसा रहेगा। जिन जवाबों को दोबारा बनाना हो, उन्हें सेव करें।
- ग़लत जवाब ठीक करने के लिए temperature बढ़ाना। सटीकता बेहतर प्रॉम्प्ट या ज़्यादा कॉन्टेक्स्ट से सुधरती है; temperature सिर्फ़ विविधता बदलता है।