---
title: "LLM-as-a-judge क्या है? मॉडल से ग्रेड किए गए eval | BroadRouter"
description: "LLM-as-a-judge में एक लैंग्वेज मॉडल दूसरे मॉडल के आउटपुट को rubric के हिसाब से ग्रेड करता है। यह कैसे काम करता है, इसके जाने-माने bias, और स्कोर भरोसेमंद कैसे बनाएँ।"
url: https://broadrouter.com/hi/glossary/llm-as-judge/
lang: hi
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/llm-as-judge/) (2026-11-14 को अपडेट किया गया).

# LLM-as-a-judge (LLM जज)

अपडेट किया गया 2026-11-14

LLM-as-a-judge एक मूल्यांकन तरीक़ा है जिसमें एक लैंग्वेज मॉडल दूसरे मॉडल के आउटपुट को ग्रेड करता है, या तो एक जवाब को rubric पर स्कोर देकर या दो जवाबों में से बेहतर चुनकर। यह इंसानी फ़ैसले के क़रीब पहुँचता है और बहुत सस्ता है, लेकिन इसके जाने-माने bias हैं, जैसे पहले या लंबे जवाब को तरजीह देना।

अन्य नाम: LLM जज, एआई जज, मॉडल से ग्रेडिंग, llm as a judge kya hai, llm judge kya hota hai, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge इंसानी ग्रेडर की जगह एक मॉडल कॉल रखता है: उसे सवाल, जवाब और rubric दें, और वापस स्कोर पढ़ें।

## यह कैसे काम करता है

इस तरीक़े का गहराई से अध्ययन Zheng और साथियों (2023) ने किया, जिन्होंने इसे परखने के लिए MT-Bench (multi-turn सवाल) और Chatbot Arena (crowdsourced आमने-सामने के वोट) बनाए। उनका मुख्य नतीजा: जज के रूप में GPT-4 विशेषज्ञ और भीड़ दोनों की पसंद से “at over 80%” (अनुवाद: 80% से ज़्यादा) सहमत रहा, जो इंसान-से-इंसान सहमति के बराबर स्तर है।

दो आम सेटअप हैं:

-   **एक जवाब की ग्रेडिंग.** जज लिखित मानदंडों के हिसाब से एक आउटपुट को किसी पैमाने पर, जैसे 1 से 5, स्कोर देता है। OpenAI की graders गाइड इसे `score_model` grader कहती है, जो “a numeric score based on the prompt within the given range.” (अनुवाद: प्रॉम्प्ट के आधार पर दी गई रेंज में एक संख्यात्मक स्कोर) लौटाता है।
-   **Pairwise तुलना.** जज एक ही सवाल के दो जवाब देखता है और बेहतर चुनता है, या बराबरी बताता है।

जज प्रॉम्प्ट में आम तौर पर मूल सवाल, जवाब, अगर हो तो एक रेफ़रंस जवाब, और rubric होता है। स्कोर से पहले एक छोटी वजह माँगें, और स्कोर को [structured output](https://broadrouter.com/hi/glossary/structured-output/) से बाँधें ताकि आपका कोड उसे parse कर सके।

## यह क्यों मायने रखता है

हर प्रॉम्प्ट बदलाव पर हज़ारों [eval](https://broadrouter.com/hi/glossary/eval/) केस इंसानों से ग्रेड करवाना संभव नहीं। जज यह कर सकता है, लेकिन वह ऐसे bias लाता है जिन्हें Zheng और साथियों ने मापा:

| Bias | क्या होता है | बचाव |
| --- | --- | --- |
| Position | पहले (या दूसरे) जवाब को तरजीह | क्रम बदलें और सहमति ज़रूरी करें |
| Verbosity | लंबे जवाबों को तरजीह | संक्षेप को इनाम देने वाला rubric; लंबाई की सीमा |
| Self-enhancement | अपने ही मॉडल की शैली को तरजीह | किसी दूसरे मॉडल को जज बनाएँ |

जज ऐसे गणित और तथ्यों की जाँच में भी कमज़ोर हैं जिन्हें वे सत्यापित नहीं कर सकते। उनके लिए जज को रेफ़रंस जवाब दें, या कोड-आधारित जाँच इस्तेमाल करें। जो जज [hallucinations](https://broadrouter.com/hi/glossary/hallucination/) चूक जाए, वह झूठा भरोसा देता है।

## BroadNet Inference पर

BroadNet कोई होस्टेड ग्रेडिंग सर्विस नहीं देता; जज कॉल आप chat completions endpoint पर ख़ुद लिखते हैं। जज कॉल किसी भी अनुरोध की तरह बिल होती हैं, इसलिए लंबे जवाब पढ़ने वाला जज हर केस पर [इनपुट और आउटपुट टोकन](https://broadrouter.com/hi/glossary/input-and-output-tokens/) जोड़ता है। किसी रन का अंदाज़ा [LLM API लागत कैलकुलेटर](https://broadrouter.com/tools/llm-api-cost-calculator/) से लगाएँ। अगर जज reasoning मॉडल है, तो `max_tokens` में जगह छोड़ें, क्योंकि reasoning उसमें गिनी जाती है। पूरी प्रक्रिया के लिए [मॉडल बदलने से पहले LLM का मूल्यांकन](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/) देखें।

## अक्सर पूछे जाने वाले सवाल

### LLM-as-a-judge कितना सटीक है?

Zheng और साथियों ने पाया कि जज के रूप में GPT-4 इंसानी पसंद से 80% से ज़्यादा बार सहमत रहा, लगभग उतनी ही दर जितनी पर इंसान आपस में सहमत होते हैं। भरोसा करने से पहले अपने टास्क पर सहमति जाँचें।

### क्या जज वही मॉडल होना चाहिए जिसे टेस्ट किया जा रहा है?

बेहतर है नहीं। Zheng और साथी self-enhancement bias बताते हैं, और Anthropic की गाइड अलग ग्रेडिंग मॉडल को best practice कहती है।

### pairwise जजिंग में position bias कैसे घटाएँ?

हर तुलना दो बार चलाएँ, जवाबों का क्रम बदलकर, और जीत तभी गिनें जब जज दोनों बार वही जवाब चुने।

## यह भी देखें

-   [Eval (LLM इवैल्यूएशन)](https://broadrouter.com/hi/glossary/eval/) (शब्द)
-   [हैलुसिनेशन (hallucination)](https://broadrouter.com/hi/glossary/hallucination/) (शब्द)
-   [स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/) (शब्द)
-   [टेम्परेचर (temperature)](https://broadrouter.com/hi/glossary/temperature/) (शब्द)
-   [इनपुट और आउटपुट टोकन (input and output tokens)](https://broadrouter.com/hi/glossary/input-and-output-tokens/) (शब्द)
-   [BroadNet Inference के साथ OpenAI Python SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-python-sdk/) (गाइड)
-   [प्रोवाइडर बदलने से पहले LLM का मूल्यांकन कैसे करें](https://broadrouter.com/hi/blog/evaluate-llm-before-switching/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-llm-as-judge&utm_content=page-cta) ·

**स्रोत**

-   [Zheng और साथी, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, मज़बूत empirical evaluations बनाना (LLM-आधारित ग्रेडिंग)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, graders गाइड (score\_model grader)](https://developers.openai.com/api/docs/guides/graders)
