हैलुसिनेशन बिल्कुल सही जवाब जैसा ही पढ़ा जाता है। यही उसे महँगा बनाता है।
यह कैसे होता है
लैंग्वेज मॉडल अपनी ट्रेनिंग और प्रॉम्प्ट के आधार पर सबसे संभावित अगले टोकन लिखता है। इस लूप में कुछ भी किसी तथ्य को असली दुनिया से नहीं मिलाता। जब मॉडल के पास जवाब नहीं होता, तब भी एक सही-सा दिखने वाला जवाब मौजूद रहता है।
Kalai और साथी 2025 के एक पेपर में तर्क देते हैं कि हैलुसिनेशन इसलिए बने रहते हैं क्योंकि “training and evaluation procedures reward guessing over acknowledging uncertainty” (अनुवाद: ट्रेनिंग और मूल्यांकन की प्रक्रियाएँ अनिश्चितता मानने के बजाय अंदाज़ा लगाने को इनाम देती हैं)। ज़्यादातर बेंचमार्क सही अंदाज़े पर अंक देते हैं और जवाब न देने पर कुछ नहीं, इसलिए मॉडल अच्छे परीक्षार्थी बनने के लिए ट्यून होते हैं। वे इन ग़लतियों की जड़ एक सांख्यिकीय कारण में भी देखते हैं: अगर मॉडल सही और ग़लत कथनों में भरोसे से फ़र्क़ नहीं कर पाता, तो प्रीट्रेनिंग ग़लत कथन भी बनाएगी।
API के काम में आम रूप:
- गढ़े हुए हवाले, URL या उद्धरण
- सही दस्तावेज़ के सारांश में ग़लत आँकड़े
- ऐसे API मेथड या पैरामीटर जो मौजूद ही नहीं
- ऐसे सवालों के जवाब जिन्हें दिया गया कॉन्टेक्स्ट कवर नहीं करता
यह क्यों मायने रखता है
नुक़सान आगे जाकर होता है: रिफ़ंड पॉलिसी गढ़ने वाला सपोर्ट बॉट, ग़लत जोड़ वाली रिपोर्ट, ग़ायब फ़ंक्शन को कॉल करने वाला कोड। इसकी तुलना में उपाय सस्ते हैं:
- जवाब को आधार दें. स्रोत टेक्स्ट प्रॉम्प्ट में रखें या RAG से निकालें। Lewis और साथियों ने retrieval-augmented generation को सिर्फ़ पैरामीट्रिक बेसलाइन से ज़्यादा “factual” (अनुवाद: तथ्यपरक) पाया। grounding देखें।
- “मुझे नहीं पता” की छूट दें. Anthropic अनिश्चितता मानने की साफ़ अनुमति को एक बुनियादी क़दम बताता है।
- उद्धरण माँगें, फिर जाँचें. मॉडल से हर दावे के लिए समर्थन करने वाला उद्धरण माँगें और बिना उद्धरण वाले दावे हटा दें।
- मापें. ऐसे सवालों वाला eval बनाएँ जिनका जवाब कॉन्टेक्स्ट में नहीं है, और देखें कि मॉडल कितनी बार जवाब गढ़ता है। जहाँ API logprobs लौटाता है, वहाँ ये कम भरोसे वाले जवाबों को चिह्नित कर सकते हैं।
- कोड में जाँचें. जोड़, तारीख़ें और ID बिना मॉडल के जाँचे जा सकते हैं।
temperature कम करने से लंबे टेक्स्ट में भटकाव घटता है, आत्मविश्वास भरी ग़लतियाँ नहीं।
BroadNet Inference पर
BroadNet के डॉक्स अपने मॉडल के हैलुसिनेशन रेट प्रकाशित नहीं करते और कोई guardrails या फ़ैक्ट-चेकिंग सुविधा सूचीबद्ध नहीं करते, इसलिए ये नियंत्रण आपके ऐप्लिकेशन में रहते हैं। बड़ा कॉन्टेक्स्ट जवाब को आधार देने में मदद करता है: DeepSeek V4.1 Flash और GLM 5.3 प्रति अनुरोध 1,048,576 टोकन लेते हैं, जो पूरे स्रोत दस्तावेज़ शामिल करने के लिए काफ़ी है। अरबी retrieval पाइपलाइन के लिए अरबी RAG देखें; निकाले गए फ़ील्ड को इमेज से मिलाने के लिए इनवॉइस गाइड देखें।