لتقييم نموذج LLM قبل الانتقال إليه، شغّل النموذجين على 50 إلى 200 أمر حقيقي بنتائج صحيحة معروفة. قيّم بفحوص برمجية أولًا، وبنموذج LLM مُقيِّم مُعالَج التحيّز فقط حيث لا تستطيع الشيفرة الحسم، وسجّل التكلفة وزمن الاستجابة، وثبّت قاعدة النجاح مسبقًا.
تغيير الشيفرة نفسه صغير: مع API متوافقة مع OpenAI يقتصر على عنوان base URL ومعرّف النموذج. تتناول قائمة تحقق الانتقال هذا الجزء، وتتناول قائمة تحقق اختيار المزوّد السعر والحدود والخصوصية. الجزء الصعب هو معرفة هل النموذج الجديد جيد بالقدر نفسه في مهامك أنت. ولوحات الصدارة العامة لا تجيب عن ذلك؛ فـ Artificial Analysis وبدائلها تصلح لبناء قائمة مختصرة. أما ما يجيب فهو مجموعة تقييم صغيرة مبنية من حركة بياناتك أنت، في يوم أو يومين من العمل.
كيف تبني مجموعة تقييم من حركة البيانات الفعلية؟
- اسحب 300 إلى 1,000 طلب حديث من سجلات الاستخدام، بعد حجب البيانات الحساسة.
- جمّعها حسب نوع المهمة: الاستخراج، والتصنيف، والتلخيص، والرد في المحادثة، وتعديل الشيفرة، واستدعاء الأدوات.
- خذ عينة من 10 إلى 40 لكل نوع، وأكثر للأنواع كثيفة الحجم أو عالية المخاطر. ضمّنها الأوامر الطويلة، والمدخلات بغير الإنجليزية، والحالات التي اشتكى منها المستخدمون.
- اكتب النتيجة المتوقعة لكل حالة: قيمة دقيقة، أو مخطط (schema)، أو اختبار يجب أن ينجح، أو معيار تقييم قصير (“يذكر مهلة الاسترداد؛ لا سياسة مختلَقة”).
- وسِّم الحالات الحرجة. فالخطأ في إجمالي فاتورة أو تسريب تعليمات ليس كنبرة أسوأ قليلًا.
- جمّدها في نظام التحكم بالإصدارات. أضف حالات حين تكتشف أخطاء جديدة، ولا تحذفها أبدًا لتُظهر نموذجًا في صورة أفضل.
أيّ الفحوص تكون برمجية وأيّها تحتاج إلى مُقيِّم؟
استخدم أرخص فحص موثوق لكل حالة:
| المهمة | الفحص | هل تحتاج إلى مُقيِّم؟ |
|---|---|---|
| استخراج JSON | يُحلَّل بنجاح، ويطابق المخطط، والحقول تساوي المتوقع | لا |
| التصنيف | الوسم يساوي المتوقع | لا |
| تعديل الشيفرة | الاختبارات تنجح | لا |
| استدعاء الأدوات | الدالة الصحيحة، والوسائط تجتاز التحقق | لا |
| التلخيص | يحوي الحقائق المطلوبة؛ ولا حقائق غائبة عن المصدر | أحيانًا |
| الرد في المحادثة، والنبرة، والفائدة | معيار تقييم | نعم |
الفحوص الحتمية مجانية وقابلة للتكرار ولا يمكن مجاملتها، فانقل إليها أكبر عدد ممكن من الحالات.
ما الذي يخطئ فيه نموذج LLM المُقيِّم؟
نموذج LLM المُقيِّم هو نموذج يقيّم إجابات نماذج أخرى وفق معيار تقييم. وجدت دراسة MT-Bench (Zheng وآخرون) أن المُقيِّمات القوية اتفقت مع تفضيلات البشر في أكثر من 80% من الحالات، أي بقدر اتفاق البشر بعضهم مع بعض تقريبًا. وسمّت الورقة نفسها التحيّزات التي عليك أن تصمّم حولها:
| التحيّز | ما يحدث | المعالجة |
|---|---|---|
| الموضع | يفضّل الإجابة المعروضة أولًا (أو ثانيًا) | قيّم كل زوج مرتين مع تبديل الترتيب؛ ولا تحتسب الفوز إلا إذا اتفق التقييمان |
| الإسهاب | يفضّل الإجابات الأطول | معيار تقييم يكافئ الصحة والإيجاز؛ وحدّ للطول في الأمر |
| تفضيل الذات | يفضّل الإجابات بأسلوبه هو | مُقيِّم من عائلة نماذج مختلفة عن المرشّحَين كليهما |
| ضعف الاستدلال | تفوته الأخطاء في الرياضيات أو الشيفرة | استخدم الفحوص البرمجية لهذه الحالات بدلًا منه |
وهناك قاعدتان أخريان من الممارسة. ثبّت المُقيِّم: إصدار النموذج نفسه، والأمر نفسه، ودرجة الحرارة 0، طوال المقارنة. وعايِرْه: صنّف بنفسك 30 إلى 50 زوجًا، وشغّل المُقيِّم عليها، ولا تثق به إلا إذا وافقك في معظم الحالات. ويقدّم دليل المُقيِّمات لدى Arize النصيحة نفسها (“Collect 20–100 examples”؛ الترجمة: اجمع من 20 إلى 100 مثال) مع تصنيفات بشرية، ويوصي بتصنيفات فئوية مثل نجاح/فشل بدلًا من مقاييس رقمية واسعة.
كيف تُجري مقارنة جنبًا إلى جنب؟
شغّل المرشّحَين على كل حالة، وأخفِ هوية النموذجين عن المُقيِّم، وبدّل الترتيب، وسجّل التكلفة والوقت:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
قاعدة التبديل تعني أن النموذج لا يفوز إلا إذا فضّله المُقيِّم في الموضعين كليهما؛ وأي اختلاف يُحتسب تعادلًا. ونسبة الاختلافات نفسها مفيدة: فالنسبة المرتفعة تعني أن المُقيِّم أو معيار التقييم مبهم أكثر من اللازم. لاحظ max_tokens=4000: في نماذج الاستدلال المنطقي، يُحتسب التفكير ضمن الحد، والسقف المنخفض ينتج إجابات فارغة تبدو كأنها إخفاقات. راجع لماذا تعيد نماذج الاستدلال ردودًا فارغة.
متى يكون الفرق حقيقيًا؟
نتائج التقييم عيّنات. لنسبة نجاح p على n حالة، يكون الخطأ المعياري √(p × (1 − p) ÷ n)، وهامش الخطأ عند 95% نحو ضعف ذلك.
| الحالات | نسبة النجاح | هامش الخطأ عند 95% |
|---|---|---|
| 50 | 80% | نحو ±11 نقطة |
| 100 | 80% | نحو ±8 نقاط |
| 200 | 80% | نحو ±6 نقاط |
| 400 | 80% | نحو ±4 نقاط |
لذلك فالنموذج الذي يحصل على 82% مقابل 79% على 100 حالة لم يثبت أنه أفضل. انظر بدلًا من ذلك إلى الفروق في كل حالة: أيّ الحالات انقلبت من نجاح إلى فشل؟ هذه تخبرك أكثر من المجاميع، وفي الحالات الحرجة قد يحسم انقلاب واحد قرار الانتقال.
ما قاعدة القرار التي ينبغي اعتمادها؟
اكتبها قبل تشغيل التقييم، حتى لا تستطيع النتيجة ليَّها. قالب عملي:
- لا تراجع في أي حالة موسومة بأنها حرجة.
- ألا تقل نسبة النجاح الإجمالية عن نسبة النموذج الحالي بأكثر من هامش الخطأ.
- زمن الاستجابة عند المئين 95 (p95) ضمن ميزانيتك؛ راجع TTFT مقابل الإنتاجية لمعرفة كيف تقيسه.
- تكلفة الحالة الناجحة أقل، أو أعلى فقط بمقدار اتفقتم على أن الجودة تستحقه. احسب الفرق الشهري عبر حاسبة تكلفة LLM API.
- فترة تشغيل ظلّي: أرسل جزءًا من الحركة الحية إلى النموذج الجديد، وسجّل نتائج الاثنين، وقارن قبل أن تنتقل نهائيًا.
ومجموعة التقييم نفسها هي نقطة البداية إن كنت تفكر في نموذج مخصّص: يتناول قبل الضبط الدقيق متى تكفي الأوامر والاسترجاع.
أين تقع BroadNet Inference من هذا؟
تقدّم BroadNet Inference عدة عائلات من النماذج خلف نقطة نهاية واحدة متوافقة مع OpenAI، منها DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B، فيمكن تشغيل المرشّحين ومُقيِّم من عائلة مختلفة عبر العميل نفسه والمفتاح نفسه. كل رد يحمل بيانات استهلاك الرموز لمقارنة التكلفة، وتبدأ الحسابات الجديدة برصيد قدره $5؛ ومن دون شحن لا يشغّل هذا الرصيد سوى Gemma 4 VL 26B، فخطّط لشحن صغير لمقارنة النماذج الأكبر. ولا تتضمن BroadNet أداة تقييم جاهزة أو مُقيِّمًا مستضافًا؛ أنت من يشغّل الشيفرة أعلاه. ولأحجام العمل العربية، يسرد اختيار نموذج LLM للعربية ما ينبغي اختباره. والأسعار جنبًا إلى جنب موجودة في صفحة المقارنة.
