عربی classification کے کام ہر جگہ ہیں: یہ ریویو مثبت ہے یا نہیں، یہ WhatsApp پیغام شکایت ہے یا نہیں، یہ ٹکٹ کس ٹیم کو جائے، کیا یہ فوری ہے۔ LLMs سے پہلے ہر کام کے لیے لیبل شدہ ڈیٹاسیٹ اور fine-tuned ماڈل چاہیے تھا۔ اب آپ پرامپٹ سے شروع کر سکتے ہیں۔ یہ تیز ہے، لیکن ایسا classifier ship کر دینا آسان ہے جو دس مثالوں پر اچھا دکھے اور خلیجی لہجے پر ناکام ہو۔ یہ پوسٹ پرامپٹ، آؤٹ پٹ فارمیٹ، ٹیسٹ اور لاگت بیان کرتی ہے۔
کون سے classification کام LLM کے لیے موزوں ہیں؟
| کام | لیبل، مثال کے طور پر | نوٹس |
|---|---|---|
| Sentiment | positive، negative، neutral، mixed | neutral اور mixed پر ہی انسان اور ماڈل سب سے زیادہ اختلاف کرتے ہیں |
| Intent | complaint، question، order، cancel، other | “other” رکھیں؛ زبردستی لیبل دینے سے غلطیاں بنتی ہیں |
| ٹکٹ routing | billing، delivery، technical، account | لیبلز اپنی اصل ٹیموں پر مبنی رکھیں |
| Urgency | urgent، normal | urgent کی ایک لائن میں تعریف دیں: “گاہک ابھی سروس استعمال نہیں کر پا رہا” |
| لہجہ یا رسم الخط | MSA، Gulf، Egyptian، Levantine، Arabizi | درست جوابی template تک route کرنے میں مفید؛ دیکھیں Arabizi |
| Topic tags | مقررہ فہرست سے کئی لیبل | فہرست مانگیں، اس کی لمبائی محدود کریں |
LLM تب موزوں ہے جب آپ کے پاس کم لیبل شدہ مثالیں ہوں، لیبل اکثر بدلتے ہوں، یا آپ کو ہر لیبل کے ساتھ وجہ چاہیے۔ fine-tuned classifier تب موزوں ہے جب لیبل مستحکم ہوں، والیوم بہت بڑا ہو اور آپ کے پاس پہلے سے ہزاروں لیبل شدہ مثالیں ہوں۔
عربی پر LLMs کے بارے میں تحقیق کیا کہتی ہے؟
شروع کرنے سے پہلے دو نتائج جاننے کے لائق ہیں:
- fine-tuned عربی ماڈلز جیت سکتے ہیں۔ GPTAraEval نے ChatGPT کو 44 عربی کاموں پر ٹیسٹ کیا اور پایا کہ یہ “consistently surpassed by smaller models that have undergone finetuning on Arabic” (ترجمہ: عربی پر fine-tune کیے گئے چھوٹے ماڈلز سے مسلسل پیچھے) رہا۔ مصنفین نے لہجوں پر جدید معیاری عربی سے کمزور نتائج بھی پائے (Khondaker et al.)۔
- لہجوں سے باخبر پرامپٹس مدد کرتے ہیں۔ MSA، سعودی لہجے اور مراکشی دارجہ میں sentiment پر DeepSeek-R1، Qwen2.5 اور LLaMA-3 کی RANLP 2025 تحقیق رپورٹ کرتی ہے کہ لہجوں سے باخبر پرامپٹنگ سے درستگی بڑھی، خاص طور پر neutral اور negative classes میں (Alharbi et al.)۔
یہ آپ کے استعمال والے ماڈلز سے پرانے یا مختلف ماڈلز ہیں، اس لیے انہیں سمت سمجھیں، اعداد نہیں۔ سبق قائم ہے: اپنے پیغامات پر، ہر لہجے میں الگ ناپیں۔
لیبل کیسے ڈیزائن کریں؟
یہیں سے شروع کریں، ماڈل سے نہیں۔
- فہرست مختصر رکھیں۔ ہر سوال کے لیے چار سے آٹھ لیبل۔ الگ سوال (sentiment، intent، urgency) الگ فیلڈز کے طور پر پوچھیں، ایک بہت بڑی فہرست میں نہیں۔
- ہر لیبل کی ایک لائن میں تعریف دیں، ساتھ میں یہ کہ وہ کیا نہیں ہے: “complaint: گاہک خریدی ہوئی کسی چیز میں مسئلہ بتاتا ہے۔ قیمت کے بارے میں سوال نہیں۔”
- ایک فرار والا لیبل شامل کریں، جیسے
otherیاunclear۔ - mixed صورتیں پہلے سے طے کریں۔ “ڈیلیوری دیر سے آئی لیکن ڈرائیور مہربان تھا” mixed ہے، neutral نہیں۔ یہ اصول لکھ لیں۔
متن عربی ہونے پر بھی لیبلز کی تعریفیں انگریزی میں ہو سکتی ہیں۔ لیبل کی قدریں انگریزی میں رکھیں تاکہ آپ کا کوڈ عربی string matching پر منحصر نہ ہو۔
عربی classification کے لیے کون سا پرامپٹ کام کرتا ہے؟
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
ہر حصہ کیوں ہے:
- لہجے والی لائن ماڈل کو بتاتی ہے کہ کیا توقع رکھے؛ یہی وہ لہجوں سے باخبر پرامپٹنگ ہے جسے RANLP تحقیق نے مددگار پایا۔
- ایک سے زیادہ لہجوں میں مثالیں۔ اوپر کی مثالیں خلیجی اور مصری لہجہ ملاتی ہیں۔ اپنی ٹریفک سے اصل (گمنام کیے گئے) پیغامات استعمال کریں۔
- اقتباس کی صورت میں ثبوت جائزہ لینے والے کو ایک سیکنڈ میں لیبل جانچنے دیتا ہے، اور اندازوں کو پکڑنا آسان بناتا ہے۔
reasoning_effort="low"۔ Qwen3.8 27B، GLM 5.3 اور DeepSeek V4.1 Flash جواب سے پہلے ریزننگ کرتے ہیں، اور ریزننگmax_tokensمیں گنی جاتی ہے۔ BroadNet کی دستاویزاتreasoning_effortکوlowرکھنے یا 1,000 یا زیادہ ٹوکن چھوڑنے کا مشورہ دیتی ہیں۔ ورنہ جوابات خالی کیوں لوٹتے ہیں۔- نامعلوم لیبلز کوڈ میں مسترد کریں۔ ماڈل کے فہرست میں رہنے پر کبھی بھروسہ نہ کریں۔
زیادہ سخت آؤٹ پٹ معاہدے کے لیے JSON mode بمقابلہ json_schema دیکھیں۔ BroadNet، GLM 5.3 اور Qwen3.8 27B کے لیے structured output درج کرتا ہے۔
BroadNet کا کون سا ماڈل استعمال کریں؟
| ماڈل | کیوں چنیں | ان پٹ / آؤٹ پٹ فی 1M ٹوکن |
|---|---|---|
| Qwen3.8 27B | BroadNet نے عربی میں ٹیسٹ کیا: خلیجی اور مصری لہجے سمجھے گئے؛ structured output درج | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | BroadNet پر سب سے کم فی ٹوکن قیمت؛ $5 کے ابتدائی کریڈٹ پر چلتا ہے؛ structured output درج نہیں، اس لیے آؤٹ پٹ سختی سے validate کریں | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | مقررہ قیمت والے پلان پر بھی، $60 ماہانہ فی سیشن، ایک وقت میں ایک درخواست | $0.175 / $0.52 |
| GLM 5.3 | structured output درج؛ چاروں میں سب سے زیادہ قیمت | $0.78 / $3.46 |
اپنا ٹیسٹ سیٹ پہلے Qwen3.8 27B اور Gemma 4 VL 26B پر چلائیں۔ اگر Gemma کے اسکور کافی قریب ہیں تو مختصر لیبلز کے لیے وہ سستا انتخاب ہے۔ انتخاب اپنے اعداد پر کریں، اس ٹیبل پر نہیں۔
classifier کو کیسے ٹیسٹ کریں؟
- 200 اصل پیغامات کو ہاتھ سے لیبل کریں، کسی مقامی بولنے والے کے ساتھ، اوپر کی لیبل تعریفوں سے۔ جو بھی لہجے آتے ہیں سب شامل کریں، ہر ایک کے کم از کم 30۔
- ماڈل کو تمام 200 پر چلائیں۔
- macro F1 نکالیں، یعنی ہر لیبل کے F1 اسکور کا اوسط، تاکہ نایاب لیبل بھی عام لیبلز جتنے گنے جائیں۔ صرف accuracy ایسے ماڈل کو چھپا دیتی ہے جو کبھی
cancelنہیں کہتا۔ - confusion matrix پڑھیں۔ اگر
questionاورcomplaintاکثر آپس میں بدلتے ہیں تو تعریفیں ایک دوسرے پر چڑھتی ہیں: ماڈل بدلنے سے پہلے تعریفیں ٹھیک کریں۔ - نتائج لہجے کے حساب سے بانٹیں۔ ماڈل MSA میں مضبوط اور خلیجی میں کمزور ہو سکتا ہے۔
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
ہر بار پرامپٹ یا ماڈل بدلنے پر وہی سیٹ دوبارہ چلائیں۔ بدلنے سے پہلے LLM کی جانچ کیسے کریں ایک مقررہ ٹیسٹ سیٹ رکھنا بتاتی ہے۔
بڑے والیوم پر classify کیسے کریں؟
classification میں ان پٹ بھاری ہوتا ہے: لمبا سسٹم پرامپٹ، مختصر پیغام اور ایک لفظ کا جواب۔ تین لیور اہم ہیں۔
فی درخواست پیغامات کو گروپ کریں۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستیں اور بیک وقت 4 چلنے دیتی ہے۔ فی درخواست ایک پیغام آپ کو فی کلید فی منٹ 30 پیغامات پر روک دیتا ہے، یعنی روزانہ اس کا 1,440 گنا۔ 20 مختصر پیغامات نمبر شدہ فہرست کی صورت میں بھیجیں اور 20 نتائج کی JSON array مانگیں: تب وہی ریٹ لمٹ بیس گنا زیادہ پیغامات کا احاطہ کرتی ہے۔ جانچیں کہ array کی لمبائی میل کھاتی ہے اور ہر آئٹم کے ساتھ اس کا نمبر ہے۔
پرامپٹ کا prefix ایک جیسا رکھیں۔ سسٹم پرامپٹ اور مثالیں ہر کال میں وہی ہیں۔ انہیں پہلے اور پیغام کو آخر میں رکھیں، تاکہ وہ کیش شدہ ان پٹ کی قیمت پر کیش سے پڑھے جا سکیں، جیسے Qwen3.8 27B پر فی 1M $0.175 کی جگہ $0.0435۔ پرامپٹ کیسے بنائیں تاکہ prefix کیش ہو۔
آؤٹ پٹ مختصر رکھیں۔ آؤٹ پٹ ٹوکن ان پٹ سے مہنگے ہیں۔ ایک لیبل اور مختصر اقتباس کافی ہے؛ ماڈل پر بھروسہ ہو جائے تو evidence فیلڈ ہٹا دیں۔
عربی میں عموماً انگریزی سے فی لفظ زیادہ ٹوکن لگتے ہیں، اس لیے اپنے پیغامات کا نمونہ عربی ٹوکن کاؤنٹر میں گنیں، پھر LLM API لاگت کیلکولیٹر میں مہینے کی قیمت نکالیں۔
کن غلطیوں سے بچیں؟
- انگریزی تراجم پر ٹیسٹ کرنا۔ ترجمہ شدہ متن ویسا نہیں جیسا آپ کے گاہک لکھتے ہیں۔
- تمام لہجوں کا ایک اسکور۔ ہر لہجہ الگ رپورٹ کریں۔
- کوئی فرار والا لیبل نہیں۔ ہر پیغام کو زبردستی اصل لیبل میں ڈالنے سے غلطیاں بڑھتی ہیں۔
- آزاد متن والے جوابات۔ “یہ negative لگتا ہے” parse نہیں ہو سکتا۔ JSON مانگیں اور validate کریں۔
- طنز کو نظر انداز کرنا۔ “ما شاء الله، ثالث مرة يتأخر الطلب” (ماشاءاللہ، تیسری بار آرڈر دیر سے آیا) لفظ بہ لفظ مثبت لگتا ہے اور ہے شکایت۔ ایسی ایک مثال پرامپٹ میں رکھیں۔
LLM کب غلط classifier ہے؟
جب لیبل مستحکم ہوں، آپ کے پاس پہلے سے ہزاروں لیبل شدہ مثالیں ہوں اور والیوم لاکھوں میں ہو، تو fine-tuned عربی encoder ماڈل عموماً فی پیغام سستا ہوتا ہے اور، GPTAraEval کے مطابق، زیادہ درست ہو سکتا ہے۔ انتظار کر سکنے والے بڑے offline کاموں کے لیے batch API والا فراہم کنندہ بھی سستا پڑ سکتا ہے: OpenAI 24 گھنٹوں کے اندر مکمل ہونے والے batch کاموں پر 50% رعایت کا اشتہار دیتا ہے۔ BroadNet میں کوئی batch API نہیں۔ ایک عام پیٹرن ہے: پہلے چند ہزار پیغامات کو LLM سے لیبل کروانا، انہیں ہاتھ سے جانچنا، اور نتیجے پر ایک چھوٹا ماڈل تربیت دینا۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadNet ایک ہی OpenAI-compatible کلید کے پیچھے عربی میں ٹیسٹ شدہ ماڈل (Qwen3.8 27B)، ابتدائی کریڈٹ پر چلنے والا سستا ماڈل (Gemma 4 VL 26B) اور مقررہ قیمت والا آپشن (DeepSeek V4.1 Flash) دیتا ہے، اور درخواست کے بعد پیغام کا کوئی مواد نہیں رکھتا۔ یہ ان سپورٹ ٹیموں کے لیے موزوں ہے جو تربیتی پائپ لائن بنائے بغیر عربی پیغامات classify کرنا چاہتی ہیں۔ یہ بہت بڑے offline کاموں کے لیے موزوں نہیں، جہاں batch رعایت یا fine-tuned ماڈل سستا پڑے گا۔ اوپر کے پرامپٹ، 200 پیغامات والے ٹیسٹ، اور ٹیسٹ سیٹ بنانے کے لیے خلیجی، مصری اور شامی لہجے والی پوسٹ سے شروع کریں۔
