BroadRouter
شروع کریں

فراہم کنندہ بدلنے سے پہلے LLM کی جانچ کیسے کریں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ

ایسے 50 سے 200 اصل پرامپٹس جمع کریں جن کا درست نتیجہ معلوم ہو۔ دونوں ماڈلز کو پہلے کوڈ چیکس سے اسکور کریں، اور LLM جج صرف وہاں لگائیں جہاں کوڈ فیصلہ نہ کر سکے۔ پوزیشن کا تعصب ختم کرنے کے لیے جوابات کی ترتیب بدلیں، کسی تیسرے ماڈل خاندان کا جج لیں، اسے اپنے لیبلز سے جانچیں، اور چلانے سے پہلے پاس ہونے کا اصول طے کریں، لاگت اور لیٹنسی سمیت۔

ماڈل بدلنے سے پہلے LLM کی جانچ کے لیے دونوں ماڈلز کو ایسے 50 سے 200 اصل پرامپٹس پر چلائیں جن کا درست نتیجہ معلوم ہو۔ پہلے کوڈ چیکس سے اسکور کریں، اور تعصب سے پاک LLM جج صرف وہاں لگائیں جہاں کوڈ فیصلہ نہ کر سکے؛ لاگت اور لیٹنسی لاگ کریں، اور پاس ہونے کا اصول پہلے سے طے کریں۔

کوڈ میں تبدیلی خود چھوٹی ہے: OpenAI-compatible API کے ساتھ بس ایک base URL اور ایک ماڈل ID بدلتا ہے۔ وہ حصہ مائیگریشن چیک لسٹ میں ہے، اور قیمت، حدیں اور پرائیویسی فراہم کنندہ کی چیک لسٹ میں۔ مشکل حصہ یہ جاننا ہے کہ نیا ماڈل آپ کے کاموں کے لیے اتنا ہی اچھا ہے یا نہیں۔ عوامی لیڈر بورڈز اس کا جواب نہیں دیتے؛ Artificial Analysis اور اس کے متبادل شارٹ لسٹ بنانے کے لیے ہیں۔ جواب آپ کے اپنے ٹریفک سے بنا ایک چھوٹا eval سیٹ دیتا ہے، ایک دو دن کے کام میں۔

اصل ٹریفک سے eval سیٹ کیسے بنائیں؟

  1. اپنے usage لاگز سے 300 سے 1,000 حالیہ درخواستیں نکالیں، حساس معلومات ہٹانے کے بعد۔
  2. کام کی قسم کے مطابق گروہ بنائیں: ایکسٹریکشن، درجہ بندی، خلاصہ، چیٹ جواب، کوڈ ایڈٹ، ٹول کال۔
  3. ہر قسم سے 10 سے 40 نمونے لیں، زیادہ حجم یا زیادہ خطرے والی اقسام سے زیادہ۔ لمبے پرامپٹس، انگریزی کے علاوہ دوسری زبانوں کے ان پٹس اور وہ کیسز شامل کریں جن کی صارفین نے شکایت کی تھی۔
  4. ہر ایک کا متوقع نتیجہ لکھیں: کوئی درست قدر، ایک اسکیما، ایک ٹیسٹ جو پاس ہونا چاہیے، یا ایک مختصر روبرک (“ریفنڈ کی مدت کا ذکر ہے؛ کوئی گھڑی ہوئی پالیسی نہیں”)۔
  5. اہم کیسز کو ٹیگ کریں۔ غلط انوائس ٹوٹل یا لیک ہونے والی ہدایت، تھوڑے خراب لہجے جیسی نہیں۔
  6. اسے ورژن کنٹرول میں منجمد کریں۔ نئی ناکامیاں ملیں تو کیسز شامل کریں؛ کسی ماڈل کو بہتر دکھانے کے لیے انہیں کبھی نہ ہٹائیں۔

کون سے چیکس کوڈ سے ہوں اور کون سے جج سے؟

ہر کیس کے لیے سب سے سستا قابلِ اعتماد چیک استعمال کریں:

کام چیک جج چاہیے؟
JSON ایکسٹریکشن پارس ہوتا ہے، اسکیما ویلیڈیٹ ہوتا ہے، فیلڈز متوقع کے برابر نہیں
درجہ بندی لیبل متوقع کے برابر نہیں
کوڈ ایڈٹ ٹیسٹ پاس ہوتے ہیں نہیں
ٹول کال درست فنکشن، آرگیومنٹس ویلیڈیٹ ہوتے ہیں نہیں
خلاصہ ضروری حقائق موجود؛ ماخذ سے باہر کا کوئی حقیقت نہیں کبھی کبھی
چیٹ جواب، لہجہ، مددگاری روبرک ہاں

ڈیٹرمنسٹک چیکس مفت ہیں، دہرائے جا سکتے ہیں اور انہیں خوشامد سے بہلایا نہیں جا سکتا، اس لیے جتنے ہو سکیں اتنے کیسز کوڈ چیکس میں ڈالیں۔

LLM-as-a-judge میں کیا غلط ہوتا ہے؟

LLM-as-a-judge ایسا ماڈل ہے جو دوسرے ماڈلز کے جوابات کو ایک روبرک کے مطابق نمبر دیتا ہے۔ MT-Bench تحقیق (Zheng et al.) میں پایا گیا کہ مضبوط جج 80% سے زیادہ بار انسانی پسند سے متفق تھے، تقریباً اتنی ہی بار جتنا انسان آپس میں متفق ہوتے ہیں۔ اسی مقالے نے ان تعصبات کے نام بھی بتائے جن کو مدِ نظر رکھ کر آپ کو ڈیزائن کرنا ہوگا:

تعصب کیا ہوتا ہے تدارک
پوزیشن پہلے (یا دوسرے) دکھائے گئے جواب کو پسند کرتا ہے ہر جوڑی دو بار جج کریں، ترتیب بدل کر؛ جیت تبھی گنیں جب دونوں متفق ہوں
لمبائی لمبے جوابات پسند کرتا ہے ایسا روبرک جو درستی اور اختصار کو انعام دے؛ پرامپٹ میں لمبائی کی حد
اپنی پسند اپنے انداز والے جوابات پسند کرتا ہے دونوں امیدواروں سے الگ ماڈل خاندان کا جج
کمزور استدلال ریاضی یا کوڈ کی غلطیاں نہیں پکڑتا ایسے کیسز کے لیے کوڈ چیکس استعمال کریں

عملی تجربے سے دو مزید اصول۔ جج کو قائم رکھیں: پورے موازنے کے لیے وہی ماڈل ورژن، وہی پرامپٹ، temperature 0۔ اور اسے کیلیبریٹ کریں: 30 سے 50 جوڑیوں کو خود لیبل کریں، ان پر جج چلائیں، اور اس پر تبھی بھروسہ کریں جب وہ زیادہ تر بار آپ سے متفق ہو۔ Arize کی evaluator گائیڈ بھی یہی مشورہ دیتی ہے (“Collect 20–100 examples”، ترجمہ: 20–100 مثالیں جمع کریں، انسانی لیبلز کے ساتھ) اور بڑے عددی پیمانوں کی جگہ pass/fail جیسے زمرہ وار لیبلز کی سفارش کرتی ہے۔

دونوں ماڈلز کا آمنے سامنے موازنہ کیسے چلائیں؟

ہر کیس پر دونوں امیدوار چلائیں، جج سے شناخت چھپائیں، ترتیب بدلیں، اور لاگت اور وقت لاگ کریں:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

ترتیب بدلنے والے اصول کا مطلب ہے کہ کوئی ماڈل تبھی جیتتا ہے جب جج اسے دونوں پوزیشنز میں پسند کرے؛ کوئی بھی اختلاف برابری گنا جاتا ہے۔ اختلافات کا تناسب بذاتِ خود مفید ہے: زیادہ شرح کا مطلب ہے کہ جج یا روبرک بہت مبہم ہے۔ max_tokens=4000 پر توجہ دیں: ریزننگ ماڈلز پر سوچنے کے ٹوکن بھی حد میں گنے جاتے ہیں، اور کم حد سے خالی جوابات آتے ہیں جو ناکامی جیسے لگتے ہیں۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔

کتنا فرق حقیقی ہے؟

eval اسکور نمونے ہوتے ہیں۔ n کیسز پر پاس ریٹ p کے لیے اسٹینڈرڈ ایرر √(p × (1 − p) ÷ n) ہے، اور 95% مارجن اس کا تقریباً دگنا۔

کیسز پاس ریٹ 95% مارجن
50 80% تقریباً ±11 پوائنٹس
100 80% تقریباً ±8 پوائنٹس
200 80% تقریباً ±6 پوائنٹس
400 80% تقریباً ±4 پوائنٹس

یعنی 100 کیسز پر 79% کے مقابلے میں 82% لانے والا ماڈل بہتر ثابت نہیں ہوا۔ اس کی جگہ ہر کیس کے فرق دیکھیں: کون سے کیسز پاس سے فیل ہو گئے؟ وہ مجموعے سے زیادہ بتاتے ہیں، اور اہم کیسز پر ایک ہی پلٹاؤ سوئچ کا فیصلہ کر سکتا ہے۔

فیصلے کا اصول کیا ہونا چاہیے؟

eval چلانے سے پہلے اسے لکھ لیں، تاکہ نتیجہ اسے موڑ نہ سکے۔ ایک عملی ٹیمپلیٹ:

  1. اہم ٹیگ والے کسی بھی کیس پر کوئی گراوٹ نہیں۔
  2. مجموعی پاس ریٹ موجودہ ماڈل سے مارجن آف ایرر سے زیادہ کم نہیں۔
  3. p95 لیٹنسی آپ کے بجٹ کے اندر؛ اسے کیسے ناپیں، اس کے لیے TTFT بمقابلہ تھروپٹ دیکھیں۔
  4. ہر کامیاب کیس کی لاگت کم ہو، یا صرف اتنی زیادہ جتنی پر آپ متفق ہیں کہ معیار کے لیے مناسب ہے۔ ماہانہ فرق LLM API لاگت کیلکولیٹر سے نکالیں۔
  5. ایک شیڈو مدت: لائیو ٹریفک کا ایک حصہ نئے ماڈل پر بھیجیں، دونوں کو لاگ کریں، اور مکمل سوئچ سے پہلے موازنہ کریں۔

اگر آپ کسٹم ماڈل پر غور کر رہے ہیں تو آغاز بھی اسی eval سیٹ سے ہوتا ہے: فائن ٹیوننگ سے پہلے بتاتا ہے کہ کب پرامپٹس اور ریٹریول کافی ہیں۔

BroadNet Inference کہاں آتا ہے

BroadNet Inference ایک ہی OpenAI-compatible اینڈپوائنٹ کے پیچھے کئی ماڈل خاندان چلاتا ہے، جن میں DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B شامل ہیں، اس لیے امیدوار اور کسی دوسرے خاندان کا جج ایک ہی کلائنٹ اور کلید سے چل سکتے ہیں۔ ہر جواب میں لاگت کے موازنے کے لیے ٹوکن usage ہوتا ہے، اور نئے اکاؤنٹس $5 کے کریڈٹ سے شروع ہوتے ہیں؛ ٹاپ اپ کے بغیر یہ کریڈٹ صرف Gemma 4 VL 26B چلاتا ہے، اس لیے بڑے ماڈلز کے موازنے کے لیے چھوٹے ٹاپ اپ کی منصوبہ بندی کریں۔ اس میں کوئی evaluation harness یا ہوسٹڈ جج ٹول شامل نہیں؛ اوپر والا کوڈ آپ خود چلاتے ہیں۔ عربی ورک لوڈز کے لیے عربی کے لیے LLM کا انتخاب بتاتا ہے کہ کیا ٹیسٹ کریں۔ آمنے سامنے قیمتیں موازنے کے صفحے پر ہیں۔

عام سوالات

LLM eval سیٹ میں کتنی مثالیں چاہییں؟

بڑی گراوٹ پکڑنے کے لیے پچاس کافی ہیں، اور تقریباً 5 سے 10 پوائنٹس کے فرق دیکھنے کے لیے 200۔ سائز سے زیادہ احاطہ اہم ہے، اس لیے ہر قسم کا کام اور اپنے معلوم ناکام کیسز شامل کریں۔

کیا LLM-as-a-judge قابلِ اعتماد ہے؟

جزوی طور پر۔ MT-Bench تحقیق میں مضبوط جج 80% سے زیادہ بار انسانی پسند سے متفق تھے، تقریباً اتنی ہی بار جتنا انسان آپس میں متفق ہوتے ہیں۔ ان میں پوزیشن، لمبائی اور اپنے انداز کی طرف جھکاؤ کا تعصب بھی دکھا، اس لیے تعصب دور کریں اور وقتاً فوقتاً انہیں جانچیں۔

کیا جج ماڈل وہی ہو سکتا ہے جسے ٹیسٹ کیا جا رہا ہے؟

نہیں۔ جج ان جوابات کو پسند کرتے ہیں جو ان کے اپنے جیسے لگیں۔ کسی دوسرے ماڈل خاندان کا جج لیں، اور پورے موازنے کے دوران اسے ایک ہی ورژن پر قائم رکھیں۔

LLM کی جانچ میں پوزیشن کا تعصب کیا ہے؟

جج معیار سے قطع نظر پہلے، یا دوسرے، نظر آنے والے جواب کو پسند کرتا ہے۔ اسے ٹھیک کرنے کے لیے ہر جوڑی کو دو بار جج کریں، ترتیب بدل کر، اور جیت تبھی گنیں جب دونوں ترتیبیں متفق ہوں۔

کیا اسی eval میں لاگت اور لیٹنسی کا بھی موازنہ کروں؟

جی ہاں۔ ہر eval کال کے ٹوکن اور وقت لاگ کریں۔ جو ماڈل دو پوائنٹس زیادہ لاتا ہے، مگر تین گنا لاگت یا لیٹنسی پر، اس پر سوئچ کرنا پھر بھی غلط فیصلہ ہو سکتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں