LLM-as-a-judge इंसानी ग्रेडर की जगह एक मॉडल कॉल रखता है: उसे सवाल, जवाब और rubric दें, और वापस स्कोर पढ़ें।
यह कैसे काम करता है
इस तरीक़े का गहराई से अध्ययन Zheng और साथियों (2023) ने किया, जिन्होंने इसे परखने के लिए MT-Bench (multi-turn सवाल) और Chatbot Arena (crowdsourced आमने-सामने के वोट) बनाए। उनका मुख्य नतीजा: जज के रूप में GPT-4 विशेषज्ञ और भीड़ दोनों की पसंद से “at over 80%” (अनुवाद: 80% से ज़्यादा) सहमत रहा, जो इंसान-से-इंसान सहमति के बराबर स्तर है।
दो आम सेटअप हैं:
- एक जवाब की ग्रेडिंग. जज लिखित मानदंडों के हिसाब से एक आउटपुट को किसी पैमाने पर, जैसे 1 से 5, स्कोर देता है। OpenAI की graders गाइड इसे
score_modelgrader कहती है, जो “a numeric score based on the prompt within the given range.” (अनुवाद: प्रॉम्प्ट के आधार पर दी गई रेंज में एक संख्यात्मक स्कोर) लौटाता है। - Pairwise तुलना. जज एक ही सवाल के दो जवाब देखता है और बेहतर चुनता है, या बराबरी बताता है।
जज प्रॉम्प्ट में आम तौर पर मूल सवाल, जवाब, अगर हो तो एक रेफ़रंस जवाब, और rubric होता है। स्कोर से पहले एक छोटी वजह माँगें, और स्कोर को structured output से बाँधें ताकि आपका कोड उसे parse कर सके।
यह क्यों मायने रखता है
हर प्रॉम्प्ट बदलाव पर हज़ारों eval केस इंसानों से ग्रेड करवाना संभव नहीं। जज यह कर सकता है, लेकिन वह ऐसे bias लाता है जिन्हें Zheng और साथियों ने मापा:
| Bias | क्या होता है | बचाव |
|---|---|---|
| Position | पहले (या दूसरे) जवाब को तरजीह | क्रम बदलें और सहमति ज़रूरी करें |
| Verbosity | लंबे जवाबों को तरजीह | संक्षेप को इनाम देने वाला rubric; लंबाई की सीमा |
| Self-enhancement | अपने ही मॉडल की शैली को तरजीह | किसी दूसरे मॉडल को जज बनाएँ |
जज ऐसे गणित और तथ्यों की जाँच में भी कमज़ोर हैं जिन्हें वे सत्यापित नहीं कर सकते। उनके लिए जज को रेफ़रंस जवाब दें, या कोड-आधारित जाँच इस्तेमाल करें। जो जज hallucinations चूक जाए, वह झूठा भरोसा देता है।
BroadNet Inference पर
BroadNet कोई होस्टेड ग्रेडिंग सर्विस नहीं देता; जज कॉल आप chat completions endpoint पर ख़ुद लिखते हैं। जज कॉल किसी भी अनुरोध की तरह बिल होती हैं, इसलिए लंबे जवाब पढ़ने वाला जज हर केस पर इनपुट और आउटपुट टोकन जोड़ता है। किसी रन का अंदाज़ा LLM API लागत कैलकुलेटर से लगाएँ। अगर जज reasoning मॉडल है, तो max_tokens में जगह छोड़ें, क्योंकि reasoning उसमें गिनी जाती है। पूरी प्रक्रिया के लिए मॉडल बदलने से पहले LLM का मूल्यांकन देखें।