गार्डरेल वे जाँचें हैं जो आप मॉडल के चारों ओर लगाते हैं, ताकि ख़राब इनपुट या ख़राब आउटपुट आपके कोड पर ही रुक जाए, आपके यूज़र तक न पहुँचे।
यह कैसे काम करते हैं
OpenAI Agents SDK गार्डरेल को “checks and validations of user input and agent output” (अनुवाद: यूज़र इनपुट और एजेंट आउटपुट की जाँच और वैलिडेशन) बताता है और तीन तरह के गार्डरेल तय करता है:
| प्रकार | कब चलता है | आम जाँच |
|---|---|---|
| इनपुट | पहली मॉडल कॉल से पहले या उसके साथ | विषय से हटे, अपमानजनक या इंजेक्ट किए अनुरोध |
| आउटपुट | अंतिम जवाब के बाद | लीक हुए सीक्रेट, पॉलिसी का उल्लंघन, ग़लत फ़ॉर्मैट |
| टूल | फ़ंक्शन टूल चलने से पहले और बाद | आर्ग्युमेंट सीमा में हों, कोई विनाशकारी कार्रवाई न हो |
जाँच फ़ेल होने पर एक “tripwire” (ट्रिपवायर) एक्सेप्शन उठाता है और रन रोक देता है। इनपुट जाँचें blocking हो सकती हैं (मुख्य मॉडल शुरू ही नहीं होता) या parallel (कम लेटेंसी, लेकिन ट्रिपवायर चलने तक टोकन और टूल कॉल ख़र्च हो चुके हो सकते हैं)।
NVIDIA की ओपन-सोर्स NeMo Guardrails लाइब्रेरी पाँच चरण इस्तेमाल करती है: input, retrieval, dialog, execution और output rails। Anthropic के डॉक्स एक “harmlessness screen” (अनुवाद: हानिरहितता की स्क्रीन) सुझाते हैं: एक छोटा, तेज़ मॉडल जो यूज़र इनपुट को मुख्य बातचीत तक पहुँचने से पहले वर्गीकृत करता है, स्ट्रक्चर्ड आउटपुट के साथ, ताकि फ़ैसला पार्स किया जा सकने वाला true या false हो।
हर गार्डरेल को मॉडल की ज़रूरत नहीं। Regex फ़िल्टर, allow-list, JSON Schema वैलिडेशन और लंबाई की लिमिट सस्ते और नियत (deterministic) हैं।
यह क्यों मायने रखते हैं
- सुरक्षा. गार्डरेल प्रॉम्प्ट इंजेक्शन और जेलब्रेक के ख़िलाफ़ बचाव की एक परत हैं। कोई एक परत इन सबको नहीं रोकती।
- लागत. एक सस्ती स्क्रीन अनुरोध को इससे पहले ही रद्द कर सकती है कि कोई महँगा मॉडल 100,000 टोकन का कॉन्टेक्स्ट पढ़े।
- एजेंट. ईमेल भेजने या डेटा बदलने वाले एजेंट को सिर्फ़ अंतिम टेक्स्ट पर फ़िल्टर नहीं, बल्कि टूल के स्तर पर जाँच और ज़्यादा जोखिम वाले क़दमों पर इंसानी मंज़ूरी चाहिए।
- इन्हें मापें. अच्छे अनुरोध रोकने वाला गार्डरेल एक बग है। eval सेट से false positive ट्रैक करें।
BroadNet Inference पर
BroadNet के डॉक्स में गार्डरेल, मॉडरेशन एंडपॉइंट या कंटेंट फ़िल्टर नहीं हैं। गार्डरेल को अपने ऐप्लिकेशन का काम मानें। एक आम पैटर्न है: BroadNet Gemma 4 VL 26B ($0.10 प्रति 1M इनपुट टोकन) जैसे छोटे मॉडल पर स्क्रीन, फिर बड़े मॉडल पर मुख्य कॉल। अगर इनपुट में निजी डेटा है, तो LLM API को संवेदनशील डेटा भेजना देखें।