LLM-as-a-judge انسانی گریڈر کی جگہ ایک ماڈل کال رکھتا ہے: اسے سوال، جواب اور rubric دیں، اور واپس اسکور پڑھیں۔
یہ کیسے کام کرتا ہے
اس طریقے کا گہرائی سے مطالعہ Zheng اور ساتھیوں (2023) نے کیا، جنہوں نے اسے پرکھنے کے لیے MT-Bench (multi-turn سوالات) اور Chatbot Arena (crowdsourced آمنے سامنے کے ووٹ) بنائے۔ ان کا مرکزی نتیجہ: جج کے طور پر GPT-4 ماہرین اور عام لوگوں دونوں کی ترجیحات سے “at over 80%” (ترجمہ: 80% سے زیادہ) متفق رہا، جو انسان سے انسان اتفاق کے برابر سطح ہے۔
دو عام سیٹ اپ ہیں:
- ایک جواب کی گریڈنگ. جج لکھے ہوئے معیارات کے مطابق ایک آؤٹ پٹ کو کسی پیمانے پر، مثلاً 1 سے 5، اسکور دیتا ہے۔ OpenAI کی graders گائیڈ اسے
score_modelgrader کہتی ہے، جو “a numeric score based on the prompt within the given range.” (ترجمہ: پرامپٹ کی بنیاد پر دی گئی رینج میں ایک عددی اسکور) لوٹاتا ہے۔ - Pairwise موازنہ. جج ایک ہی سوال کے دو جواب دیکھتا ہے اور بہتر چنتا ہے، یا برابری بتاتا ہے۔
جج پرامپٹ میں عموماً اصل سوال، جواب، اگر ہو تو ایک حوالہ جاتی جواب، اور rubric ہوتا ہے۔ اسکور سے پہلے ایک مختصر وجہ مانگیں، اور اسکور کو structured output سے باندھیں تاکہ آپ کا کوڈ اسے parse کر سکے۔
یہ کیوں اہم ہے
ہر پرامپٹ تبدیلی پر ہزاروں eval کیسز انسانوں سے گریڈ کروانا ممکن نہیں۔ جج یہ کر سکتا ہے، لیکن وہ ایسے biases لاتا ہے جنہیں Zheng اور ساتھیوں نے ناپا:
| Bias | کیا ہوتا ہے | بچاؤ |
|---|---|---|
| Position | پہلے (یا دوسرے) جواب کو ترجیح | ترتیب بدلیں اور اتفاق لازمی کریں |
| Verbosity | لمبے جوابوں کو ترجیح | اختصار کو انعام دینے والا rubric؛ لمبائی کی حد |
| Self-enhancement | اپنے ہی ماڈل کے انداز کو ترجیح | کسی دوسرے ماڈل کو جج بنائیں |
جج ایسے حساب اور حقائق کی جانچ میں بھی کمزور ہیں جن کی وہ تصدیق نہیں کر سکتے۔ ان کے لیے جج کو حوالہ جاتی جواب دیں، یا کوڈ پر مبنی جانچ استعمال کریں۔ جو جج ہیلوسینیشنز چھوڑ دے، وہ جھوٹا اعتماد دیتا ہے۔
BroadNet Inference پر
BroadNet کوئی ہوسٹڈ گریڈنگ سروس فراہم نہیں کرتا؛ جج کال آپ chat completions endpoint پر خود لکھتے ہیں۔ جج کالز کسی بھی درخواست کی طرح بل ہوتی ہیں، اس لیے لمبے جواب پڑھنے والا جج ہر کیس پر ان پٹ اور آؤٹ پٹ ٹوکنز بڑھاتا ہے۔ کسی رن کا اندازہ LLM API لاگت کیلکولیٹر سے لگائیں۔ اگر جج reasoning ماڈل ہے تو max_tokens میں گنجائش چھوڑیں، کیونکہ reasoning اس میں گنی جاتی ہے۔ پورے عمل کے لیے ماڈل بدلنے سے پہلے LLM کی جانچ دیکھیں۔