ماڈل لانچ کے ساتھ بینچ مارک اسکورز کے جدول آتے ہیں۔ بینچ مارک کیا ناپتا ہے، اور کیا نہیں ناپ سکتا، یہ جاننے سے آپ غلط عدد دیکھ کر ماڈل چننے سے بچتے ہیں۔
یہ کیسے کام کرتا ہے
بینچ مارک تین چیزیں طے کرتا ہے: کام، ماڈل کو پرامپٹ کرنے کا طریقہ، اور اسکورنگ کا اصول۔ دو معروف مثالیں:
| بینچ مارک | کیا پرکھتا ہے | سائز | اسکورنگ |
|---|---|---|---|
| MMLU (2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more” (ترجمہ: ابتدائی ریاضی، امریکی تاریخ، کمپیوٹر سائنس، قانون اور مزید سمیت 57 کام) میں معلومات | 57 مضامین | درستی |
| SWE-bench (2023) | “editing the codebase to address the issue” (ترجمہ: issue حل کرنے کے لیے کوڈ بیس میں ترمیم کر کے) حقیقی GitHub issues ٹھیک کرنا | 12 Python ریپوزٹریز سے 2,294 مسائل | حل شدہ issues کا تناسب |
اسپیچ کے اپنے بینچ مارک ہیں: لیڈر بورڈز ٹرانسکرپشن ماڈلز کو word error rate سے رینک کرتے ہیں، جہاں کم بہتر ہے۔
بینچ مارک پرانے ہو جاتے ہیں۔ جب MMLU شائع ہوا تو سب سے بڑا GPT-3 ماڈل “over random chance by almost 20 percentage points on average” (ترجمہ: اوسطاً رینڈم اندازے سے تقریباً 20 فیصد پوائنٹس اوپر) تھا۔ جب SWE-bench شائع ہوا تو سب سے اچھے ماڈل، Claude 2، نے 1.96% issues حل کیے۔ جو بینچ مارک کبھی ماڈلز کو اچھی طرح الگ کرتا تھا، وہ ماڈلز بہتر ہونے پر ایسا کرنا چھوڑ سکتا ہے، اس لیے جانچیں کہ بینچ مارک کب بنا اور آج عام اسکور کتنے ہیں۔
یہ کیوں اہم ہے
- Contamination. Xu اور ساتھیوں کا سروے بینچ مارک ڈیٹا contamination کو ایسے ماڈلز سے بیان کرتا ہے جو “inadvertently incorporate evaluation benchmark information from their training data” (ترجمہ: انجانے میں اپنے ٹریننگ ڈیٹا سے جانچ کے بینچ مارک کی معلومات شامل کر لیتے ہیں)، جس سے “inaccurate or unreliable performance during the evaluation phase” (ترجمہ: جانچ کے مرحلے میں غلط یا ناقابلِ اعتماد کارکردگی) سامنے آتی ہے۔
- محدود دائرہ. Python کا کوڈنگ بینچ مارک عربی کسٹمر سپورٹ کے بارے میں کم بتاتا ہے۔ اپنے کام سے ملتے بینچ مارک چنیں (کون سا لیڈر بورڈ کیا ناپتا ہے)، پھر اپنے ڈیٹا پر eval سے تصدیق کریں۔
- سیٹنگز سے اسکور بدلتے ہیں. پرامپٹ فارمیٹ، few-shot مثالیں، reasoning بجٹ اور سرونگ سیٹ اپ، سب نتائج ہلاتے ہیں۔ اسکورز کا موازنہ تب ہی کریں جب وہ ایک ہی طریقے سے چلائے گئے ہوں۔
- جج اپنا bias شامل کرتے ہیں. کھلے جواب والے بینچ مارک اکثر LLM-as-judge استعمال کرتے ہیں؛ جانچیں کہ کون سا جج اور rubric استعمال ہوا۔
ماڈل بدلنے سے پہلے LLM کی جانچ پوسٹ دکھاتی ہے کہ اپنی ٹریفک سے چھوٹا ٹیسٹ سیٹ کیسے بنائیں۔
BroadNet Inference پر
BroadNet اپنے کچھ بینچ مارک اعداد شائع کرتا ہے؛ انہیں BroadNet کے بتائے اعداد سمجھیں۔ BroadNet Transcribe Arabic (Cohere Transcribe پر مبنی) کے لیے BroadNet MASC لہجوں والی اسپیچ پر 21.1 اور FLEURS Arabic پر 3.8 word error rate بتاتا ہے، اور Open Universal Arabic ASR Leaderboard پر 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) رینک بتاتا ہے۔ Gemma 4 VL 26B کے لیے BroadNet 240 پروڈکشن گفتگوؤں پر تین ججوں والی blind جانچ بتاتا ہے، جس میں یہ BroadNet کی اپنی چیٹ بوٹ پائپ لائن کے 6 میں سے 5 مراحل پر Claude Sonnet کے برابر رہا۔ یہ ایک کمپنی کی پائپ لائن ہے، کوئی عمومی بینچ مارک نہیں۔ فیصلہ کرنے سے پہلے اپنا eval چلائیں؛ $5 کا ابتدائی کریڈٹ Gemma 4 VL 26B اور دونوں ٹرانسکرپشن ماڈلز کا احاطہ کرتا ہے۔