BroadRouter
शुरू करें

LLM बेंचमार्क (LLM benchmark)

अपडेट किया गया

LLM बेंचमार्क टास्क का एक तय, आम तौर पर पब्लिक सेट है जिसके साथ स्कोर करने का तरीक़ा भी तय होता है, और जिससे लैंग्वेज मॉडल को किसी एक हुनर, जैसे ज्ञान के सवाल, कोडिंग या स्पीच रिकग्निशन, पर मापा और तुलना की जाती है। बेंचमार्क स्कोर उस टेस्ट पर तुलनात्मक क्षमता दिखाता है, आपके अपने वर्कलोड पर प्रदर्शन नहीं।

अन्य नाम: LLM बेंचमार्क, बेंचमार्क स्कोर, मॉडल बेंचमार्क, llm benchmark kya hai, benchmark score kya hota hai, LLM benchmark, model benchmark, benchmark score

मॉडल लॉन्च के साथ बेंचमार्क स्कोर की तालिकाएँ आती हैं। बेंचमार्क क्या मापता है, और क्या नहीं माप सकता, यह जानने से आप ग़लत संख्या देखकर मॉडल चुनने से बचते हैं।

यह कैसे काम करता है

बेंचमार्क तीन चीज़ें तय करता है: टास्क, मॉडल को प्रॉम्प्ट करने का तरीक़ा, और स्कोर का नियम। दो जाने-माने उदाहरण:

बेंचमार्क क्या परखता है साइज़ स्कोरिंग
MMLU (2020) “57 tasks including elementary mathematics, US history, computer science, law, and more” (अनुवाद: प्रारंभिक गणित, अमेरिकी इतिहास, कंप्यूटर साइंस, क़ानून और अन्य समेत 57 टास्क) में ज्ञान 57 विषय सटीकता
SWE-bench (2023) “editing the codebase to address the issue” (अनुवाद: issue सुलझाने के लिए कोडबेस बदलकर) असली GitHub issues ठीक करना 12 Python रिपॉज़िटरी से 2,294 समस्याएँ हल हुए issues का हिस्सा

स्पीच के अपने बेंचमार्क हैं: लीडरबोर्ड ट्रांसक्रिप्शन मॉडल को word error rate से रैंक करते हैं, जहाँ कम बेहतर है।

बेंचमार्क पुराने पड़ते हैं। जब MMLU प्रकाशित हुआ, तब सबसे बड़ा GPT-3 मॉडल “over random chance by almost 20 percentage points on average” (अनुवाद: औसतन रैंडम अनुमान से लगभग 20 प्रतिशत अंक ऊपर) था। जब SWE-bench प्रकाशित हुआ, तब सबसे अच्छे मॉडल, Claude 2, ने 1.96% issues हल किए। जो बेंचमार्क कभी मॉडल को अच्छी तरह अलग करता था, वह मॉडल बेहतर होने पर ऐसा करना बंद कर सकता है, इसलिए जाँचें कि बेंचमार्क कब बना और आज आम स्कोर कितने हैं।

यह क्यों मायने रखता है

  • Contamination. Xu और साथियों का सर्वे बेंचमार्क डेटा contamination को ऐसे मॉडल बताता है जो “inadvertently incorporate evaluation benchmark information from their training data” (अनुवाद: अनजाने में अपने ट्रेनिंग डेटा से मूल्यांकन बेंचमार्क की जानकारी शामिल कर लेते हैं), जिससे “inaccurate or unreliable performance during the evaluation phase” (अनुवाद: मूल्यांकन चरण में ग़लत या अविश्वसनीय प्रदर्शन) होता है।
  • सीमित दायरा. Python का कोडिंग बेंचमार्क अरबी कस्टमर सपोर्ट के बारे में कम बताता है। अपने टास्क से मेल खाते बेंचमार्क चुनें (कौन-सा लीडरबोर्ड क्या मापता है), फिर अपने डेटा पर eval से पुष्टि करें।
  • सेटिंग से स्कोर बदलते हैं. प्रॉम्प्ट फ़ॉर्मैट, few-shot उदाहरण, reasoning बजट और सर्विंग सेटअप, सब नतीजे हिलाते हैं। स्कोर की तुलना तभी करें जब वे एक ही तरह से चलाए गए हों।
  • जज अपना bias जोड़ते हैं. खुले जवाब वाले बेंचमार्क अक्सर LLM-as-judge इस्तेमाल करते हैं; जाँचें कि कौन-सा जज और rubric इस्तेमाल हुआ।

मॉडल बदलने से पहले LLM का मूल्यांकन पोस्ट दिखाती है कि अपने ट्रैफ़िक से छोटा टेस्ट सेट कैसे बनाएँ।

BroadNet Inference पर

BroadNet अपने कुछ बेंचमार्क आँकड़े प्रकाशित करता है; उन्हें BroadNet के बताए आँकड़े मानें। BroadNet Transcribe Arabic (Cohere Transcribe पर आधारित) के लिए BroadNet MASC बोली वाली स्पीच पर 21.1 और FLEURS Arabic पर 3.8 word error rate बताता है, और Open Universal Arabic ASR Leaderboard पर 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) रैंक बताता है। Gemma 4 VL 26B के लिए BroadNet 240 प्रोडक्शन बातचीत पर तीन जजों वाला blind मूल्यांकन बताता है, जिसमें यह BroadNet की अपनी चैटबॉट पाइपलाइन के 6 में से 5 चरणों पर Claude Sonnet के बराबर रहा। यह एक कंपनी की पाइपलाइन है, कोई आम बेंचमार्क नहीं। फ़ैसला करने से पहले अपना eval चलाएँ; $5 का शुरुआती क्रेडिट Gemma 4 VL 26B और दोनों ट्रांसक्रिप्शन मॉडल कवर करता है।

अक्सर पूछे जाने वाले सवाल

बेंचमार्क और eval में क्या फ़र्क़ है?

बेंचमार्क एक साझा पब्लिक टेस्ट है जिससे कई टीमें मॉडल की तुलना कर सकती हैं। eval आपका अपना टेस्ट सेट है, जो आपके असली प्रॉम्प्ट से बना हो और उस पर स्कोर हो जो आपके प्रोडक्ट को चाहिए। शॉर्टलिस्ट के लिए बेंचमार्क और फ़ैसले के लिए eval इस्तेमाल करें।

बेंचमार्क contamination क्या है?

यह तब होता है जब टेस्ट के सवाल, या उनकी क़रीबी नक़लें, मॉडल के ट्रेनिंग डेटा में पहुँच जाती हैं। तब मॉडल हुनर के बजाय याद के दम पर अच्छा स्कोर कर सकता है, और स्कोर उसकी क्षमता को बढ़ा-चढ़ाकर दिखाता है।

क्या वेंडर के बताए स्कोर भरोसेमंद हैं?

उन्हें दावे मानें। जाँचें कि बेंचमार्क का कौन-सा वर्ज़न, कौन-सी सेटिंग और कौन-से प्रॉम्प्ट इस्तेमाल हुए, क्या किसी ने नतीजा दोहराया, और क्या कोई पब्लिक लीडरबोर्ड वही दिखाता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें