BroadRouter
شروع کریں

گارڈریلز (LLM guardrails)

اپ ڈیٹ

گارڈریلز وہ جانچیں ہیں جو کوئی ایپلیکیشن لینگویج ماڈل کال کے گرد چلاتی ہے تاکہ وہ مقررہ حدود میں رہے۔ ان پٹ گارڈریلز ماڈل میں جانے والی چیز پرکھتے ہیں، آؤٹ پٹ گارڈریلز باہر آنے والی، اور ٹول گارڈریلز کارروائی چلنے سے پہلے اسے جانچتے ہیں۔ جانچ ناکام ہو تو درخواست رکتی، بدلتی یا نشان زد ہوتی ہے۔

دوسرے نام: گارڈریلز، AI گارڈریلز، llm guardrails kya hain، guardrails، LLM guardrails، AI guardrails، input guardrails، output guardrails، safety rails

گارڈریلز وہ جانچیں ہیں جو آپ ماڈل کے گرد لگاتے ہیں، تاکہ خراب ان پٹ یا خراب آؤٹ پٹ آپ کے کوڈ پر ہی رک جائے، آپ کے صارف تک نہ پہنچے۔

یہ کیسے کام کرتے ہیں

OpenAI Agents SDK گارڈریلز کو “checks and validations of user input and agent output” (ترجمہ: صارف کے ان پٹ اور ایجنٹ کے آؤٹ پٹ کی جانچ اور توثیق) کہتا ہے اور تین اقسام طے کرتا ہے:

قسم کب چلتا ہے عام جانچ
ان پٹ پہلی ماڈل کال سے پہلے یا اس کے ساتھ موضوع سے ہٹی، توہین آمیز یا انجیکٹ کی گئی درخواستیں
آؤٹ پٹ حتمی جواب کے بعد لیک ہوئے راز، پالیسی کی خلاف ورزی، غلط فارمیٹ
ٹول فنکشن ٹول چلنے سے پہلے اور بعد آرگیومنٹس حد کے اندر ہوں، کوئی تباہ کن کارروائی نہ ہو

جانچ ناکام ہونے پر ایک “tripwire” (ٹرپ وائر) ایکسیپشن اٹھاتا ہے اور رن روک دیتا ہے۔ ان پٹ جانچیں blocking ہو سکتی ہیں (مرکزی ماڈل شروع ہی نہیں ہوتا) یا parallel (کم تاخیر، لیکن ٹرپ وائر چلنے تک ٹوکن اور ٹول کالز خرچ ہو چکی ہو سکتی ہیں)۔

NVIDIA کی اوپن سورس NeMo Guardrails لائبریری پانچ مراحل استعمال کرتی ہے: input، retrieval، dialog، execution اور output rails۔ Anthropic کی دستاویزات ایک “harmlessness screen” (ترجمہ: بے ضرری کی اسکرین) تجویز کرتی ہیں: ایک چھوٹا، تیز ماڈل جو صارف کے ان پٹ کو مرکزی گفتگو تک پہنچنے سے پہلے درجہ بند کرتا ہے، اسٹرکچرڈ آؤٹ پٹ کے ساتھ، تاکہ فیصلہ پارس کیا جا سکنے والا true یا false ہو۔

ہر گارڈریل کو ماڈل کی ضرورت نہیں۔ Regex فلٹرز، allow-lists، JSON Schema ویلیڈیشن اور لمبائی کی حدیں سستی اور یقینی (deterministic) ہیں۔

یہ کیوں اہم ہیں

  • حفاظت۔ گارڈریلز پرامپٹ انجیکشن اور جیل بریکس کے خلاف دفاع کی ایک تہہ ہیں۔ کوئی ایک تہہ ان سب کو نہیں روکتی۔
  • لاگت۔ ایک سستی اسکرین کسی درخواست کو اس سے پہلے ہی رد کر سکتی ہے کہ کوئی مہنگا ماڈل 100,000 ٹوکن کا کانٹیکسٹ پڑھے۔
  • ایجنٹس۔ ای میل بھیجنے یا ڈیٹا بدلنے والے ایجنٹ کو صرف حتمی متن پر فلٹر نہیں، بلکہ ٹول کی سطح پر جانچ اور زیادہ خطرے والے مراحل پر انسانی منظوری چاہیے۔
  • انہیں ناپیں۔ اچھی درخواستیں روکنے والا گارڈریل ایک بگ ہے۔ eval سیٹ سے false positives پر نظر رکھیں۔

BroadNet Inference پر

BroadNet کی دستاویزات میں گارڈریلز، ماڈریشن اینڈپوائنٹس یا مواد کے فلٹرز درج نہیں۔ گارڈریلز کو اپنی ایپلیکیشن کا کام سمجھیں۔ ایک عام طریقہ یہ ہے: BroadNet Gemma 4 VL 26B ($0.10 فی 1M ان پٹ ٹوکن) جیسے چھوٹے ماڈل پر اسکرین، پھر بڑے ماڈل پر مرکزی کال۔ اگر ان پٹس میں ذاتی ڈیٹا ہے تو LLM API کو حساس ڈیٹا بھیجنا دیکھیں۔

عام سوالات

کیا گارڈریلز ماڈل کا حصہ ہوتے ہیں؟

نہیں۔ ماڈلز میں تربیت سے آئے اپنے انکار ہوتے ہیں، لیکن گارڈریلز الگ کوڈ یا ماڈل کالز ہیں جو آپ کی ایپلیکیشن مرکزی کال سے پہلے اور بعد میں چلاتی ہے۔ وہ کیا جانچیں، یہ آپ طے کرتے ہیں۔

کیا گارڈریلز سے تاخیر بڑھتی ہے؟

روکنے والی (blocking) ان پٹ جانچ مرکزی ماڈل شروع ہونے سے پہلے ایک اضافی کال جوڑتی ہے۔ OpenAI Agents SDK اس کے بجائے ان پٹ گارڈریلز متوازی چلا سکتا ہے، جس سے وقت بچتا ہے لیکن جانچ کے ٹرپ ہونے سے پہلے ٹوکن خرچ ہو سکتے ہیں۔

کیا BroadNet Inference میں گارڈریلز شامل ہیں؟

BroadNet کی دستاویزات میں گارڈریلز یا مواد کے فلٹرز بطور فیچر درج نہیں۔ انہیں اپنی ایپلیکیشن میں بنائیں، مثلاً اسکرین کے طور پر ایک چھوٹا ماڈل اور آؤٹ پٹس پر اسکیما ویلیڈیشن۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں