ماڈل بدلنے سے پہلے LLM کی جانچ کے لیے دونوں ماڈلز کو ایسے 50 سے 200 اصل پرامپٹس پر چلائیں جن کا درست نتیجہ معلوم ہو۔ پہلے کوڈ چیکس سے اسکور کریں، اور تعصب سے پاک LLM جج صرف وہاں لگائیں جہاں کوڈ فیصلہ نہ کر سکے؛ لاگت اور لیٹنسی لاگ کریں، اور پاس ہونے کا اصول پہلے سے طے کریں۔
کوڈ میں تبدیلی خود چھوٹی ہے: OpenAI-compatible API کے ساتھ بس ایک base URL اور ایک ماڈل ID بدلتا ہے۔ وہ حصہ مائیگریشن چیک لسٹ میں ہے، اور قیمت، حدیں اور پرائیویسی فراہم کنندہ کی چیک لسٹ میں۔ مشکل حصہ یہ جاننا ہے کہ نیا ماڈل آپ کے کاموں کے لیے اتنا ہی اچھا ہے یا نہیں۔ عوامی لیڈر بورڈز اس کا جواب نہیں دیتے؛ Artificial Analysis اور اس کے متبادل شارٹ لسٹ بنانے کے لیے ہیں۔ جواب آپ کے اپنے ٹریفک سے بنا ایک چھوٹا eval سیٹ دیتا ہے، ایک دو دن کے کام میں۔
اصل ٹریفک سے eval سیٹ کیسے بنائیں؟
- اپنے usage لاگز سے 300 سے 1,000 حالیہ درخواستیں نکالیں، حساس معلومات ہٹانے کے بعد۔
- کام کی قسم کے مطابق گروہ بنائیں: ایکسٹریکشن، درجہ بندی، خلاصہ، چیٹ جواب، کوڈ ایڈٹ، ٹول کال۔
- ہر قسم سے 10 سے 40 نمونے لیں، زیادہ حجم یا زیادہ خطرے والی اقسام سے زیادہ۔ لمبے پرامپٹس، انگریزی کے علاوہ دوسری زبانوں کے ان پٹس اور وہ کیسز شامل کریں جن کی صارفین نے شکایت کی تھی۔
- ہر ایک کا متوقع نتیجہ لکھیں: کوئی درست قدر، ایک اسکیما، ایک ٹیسٹ جو پاس ہونا چاہیے، یا ایک مختصر روبرک (“ریفنڈ کی مدت کا ذکر ہے؛ کوئی گھڑی ہوئی پالیسی نہیں”)۔
- اہم کیسز کو ٹیگ کریں۔ غلط انوائس ٹوٹل یا لیک ہونے والی ہدایت، تھوڑے خراب لہجے جیسی نہیں۔
- اسے ورژن کنٹرول میں منجمد کریں۔ نئی ناکامیاں ملیں تو کیسز شامل کریں؛ کسی ماڈل کو بہتر دکھانے کے لیے انہیں کبھی نہ ہٹائیں۔
کون سے چیکس کوڈ سے ہوں اور کون سے جج سے؟
ہر کیس کے لیے سب سے سستا قابلِ اعتماد چیک استعمال کریں:
| کام | چیک | جج چاہیے؟ |
|---|---|---|
| JSON ایکسٹریکشن | پارس ہوتا ہے، اسکیما ویلیڈیٹ ہوتا ہے، فیلڈز متوقع کے برابر | نہیں |
| درجہ بندی | لیبل متوقع کے برابر | نہیں |
| کوڈ ایڈٹ | ٹیسٹ پاس ہوتے ہیں | نہیں |
| ٹول کال | درست فنکشن، آرگیومنٹس ویلیڈیٹ ہوتے ہیں | نہیں |
| خلاصہ | ضروری حقائق موجود؛ ماخذ سے باہر کا کوئی حقیقت نہیں | کبھی کبھی |
| چیٹ جواب، لہجہ، مددگاری | روبرک | ہاں |
ڈیٹرمنسٹک چیکس مفت ہیں، دہرائے جا سکتے ہیں اور انہیں خوشامد سے بہلایا نہیں جا سکتا، اس لیے جتنے ہو سکیں اتنے کیسز کوڈ چیکس میں ڈالیں۔
LLM-as-a-judge میں کیا غلط ہوتا ہے؟
LLM-as-a-judge ایسا ماڈل ہے جو دوسرے ماڈلز کے جوابات کو ایک روبرک کے مطابق نمبر دیتا ہے۔ MT-Bench تحقیق (Zheng et al.) میں پایا گیا کہ مضبوط جج 80% سے زیادہ بار انسانی پسند سے متفق تھے، تقریباً اتنی ہی بار جتنا انسان آپس میں متفق ہوتے ہیں۔ اسی مقالے نے ان تعصبات کے نام بھی بتائے جن کو مدِ نظر رکھ کر آپ کو ڈیزائن کرنا ہوگا:
| تعصب | کیا ہوتا ہے | تدارک |
|---|---|---|
| پوزیشن | پہلے (یا دوسرے) دکھائے گئے جواب کو پسند کرتا ہے | ہر جوڑی دو بار جج کریں، ترتیب بدل کر؛ جیت تبھی گنیں جب دونوں متفق ہوں |
| لمبائی | لمبے جوابات پسند کرتا ہے | ایسا روبرک جو درستی اور اختصار کو انعام دے؛ پرامپٹ میں لمبائی کی حد |
| اپنی پسند | اپنے انداز والے جوابات پسند کرتا ہے | دونوں امیدواروں سے الگ ماڈل خاندان کا جج |
| کمزور استدلال | ریاضی یا کوڈ کی غلطیاں نہیں پکڑتا | ایسے کیسز کے لیے کوڈ چیکس استعمال کریں |
عملی تجربے سے دو مزید اصول۔ جج کو قائم رکھیں: پورے موازنے کے لیے وہی ماڈل ورژن، وہی پرامپٹ، temperature 0۔ اور اسے کیلیبریٹ کریں: 30 سے 50 جوڑیوں کو خود لیبل کریں، ان پر جج چلائیں، اور اس پر تبھی بھروسہ کریں جب وہ زیادہ تر بار آپ سے متفق ہو۔ Arize کی evaluator گائیڈ بھی یہی مشورہ دیتی ہے (“Collect 20–100 examples”، ترجمہ: 20–100 مثالیں جمع کریں، انسانی لیبلز کے ساتھ) اور بڑے عددی پیمانوں کی جگہ pass/fail جیسے زمرہ وار لیبلز کی سفارش کرتی ہے۔
دونوں ماڈلز کا آمنے سامنے موازنہ کیسے چلائیں؟
ہر کیس پر دونوں امیدوار چلائیں، جج سے شناخت چھپائیں، ترتیب بدلیں، اور لاگت اور وقت لاگ کریں:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
ترتیب بدلنے والے اصول کا مطلب ہے کہ کوئی ماڈل تبھی جیتتا ہے جب جج اسے دونوں پوزیشنز میں پسند کرے؛ کوئی بھی اختلاف برابری گنا جاتا ہے۔ اختلافات کا تناسب بذاتِ خود مفید ہے: زیادہ شرح کا مطلب ہے کہ جج یا روبرک بہت مبہم ہے۔ max_tokens=4000 پر توجہ دیں: ریزننگ ماڈلز پر سوچنے کے ٹوکن بھی حد میں گنے جاتے ہیں، اور کم حد سے خالی جوابات آتے ہیں جو ناکامی جیسے لگتے ہیں۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔
کتنا فرق حقیقی ہے؟
eval اسکور نمونے ہوتے ہیں۔ n کیسز پر پاس ریٹ p کے لیے اسٹینڈرڈ ایرر √(p × (1 − p) ÷ n) ہے، اور 95% مارجن اس کا تقریباً دگنا۔
| کیسز | پاس ریٹ | 95% مارجن |
|---|---|---|
| 50 | 80% | تقریباً ±11 پوائنٹس |
| 100 | 80% | تقریباً ±8 پوائنٹس |
| 200 | 80% | تقریباً ±6 پوائنٹس |
| 400 | 80% | تقریباً ±4 پوائنٹس |
یعنی 100 کیسز پر 79% کے مقابلے میں 82% لانے والا ماڈل بہتر ثابت نہیں ہوا۔ اس کی جگہ ہر کیس کے فرق دیکھیں: کون سے کیسز پاس سے فیل ہو گئے؟ وہ مجموعے سے زیادہ بتاتے ہیں، اور اہم کیسز پر ایک ہی پلٹاؤ سوئچ کا فیصلہ کر سکتا ہے۔
فیصلے کا اصول کیا ہونا چاہیے؟
eval چلانے سے پہلے اسے لکھ لیں، تاکہ نتیجہ اسے موڑ نہ سکے۔ ایک عملی ٹیمپلیٹ:
- اہم ٹیگ والے کسی بھی کیس پر کوئی گراوٹ نہیں۔
- مجموعی پاس ریٹ موجودہ ماڈل سے مارجن آف ایرر سے زیادہ کم نہیں۔
- p95 لیٹنسی آپ کے بجٹ کے اندر؛ اسے کیسے ناپیں، اس کے لیے TTFT بمقابلہ تھروپٹ دیکھیں۔
- ہر کامیاب کیس کی لاگت کم ہو، یا صرف اتنی زیادہ جتنی پر آپ متفق ہیں کہ معیار کے لیے مناسب ہے۔ ماہانہ فرق LLM API لاگت کیلکولیٹر سے نکالیں۔
- ایک شیڈو مدت: لائیو ٹریفک کا ایک حصہ نئے ماڈل پر بھیجیں، دونوں کو لاگ کریں، اور مکمل سوئچ سے پہلے موازنہ کریں۔
اگر آپ کسٹم ماڈل پر غور کر رہے ہیں تو آغاز بھی اسی eval سیٹ سے ہوتا ہے: فائن ٹیوننگ سے پہلے بتاتا ہے کہ کب پرامپٹس اور ریٹریول کافی ہیں۔
BroadNet Inference کہاں آتا ہے
BroadNet Inference ایک ہی OpenAI-compatible اینڈپوائنٹ کے پیچھے کئی ماڈل خاندان چلاتا ہے، جن میں DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B شامل ہیں، اس لیے امیدوار اور کسی دوسرے خاندان کا جج ایک ہی کلائنٹ اور کلید سے چل سکتے ہیں۔ ہر جواب میں لاگت کے موازنے کے لیے ٹوکن usage ہوتا ہے، اور نئے اکاؤنٹس $5 کے کریڈٹ سے شروع ہوتے ہیں؛ ٹاپ اپ کے بغیر یہ کریڈٹ صرف Gemma 4 VL 26B چلاتا ہے، اس لیے بڑے ماڈلز کے موازنے کے لیے چھوٹے ٹاپ اپ کی منصوبہ بندی کریں۔ اس میں کوئی evaluation harness یا ہوسٹڈ جج ٹول شامل نہیں؛ اوپر والا کوڈ آپ خود چلاتے ہیں۔ عربی ورک لوڈز کے لیے عربی کے لیے LLM کا انتخاب بتاتا ہے کہ کیا ٹیسٹ کریں۔ آمنے سامنے قیمتیں موازنے کے صفحے پر ہیں۔
