BroadRouter

हाइब्रिड सर्च (hybrid search)

अपडेट किया गया

हाइब्रिड सर्च एक रिट्रीवल तरीक़ा है जो एक ही क्वेरी पर BM25 जैसी कीवर्ड सर्च और embeddings पर वेक्टर सर्च दोनों चलाता है, फिर दोनों रैंक की गई सूचियों को एक में मिलाता है, अक्सर reciprocal rank fusion (RRF) या normalized स्कोर के weighted sum से।

अन्य नाम: हाइब्रिड सर्च, हाइब्रिड रिट्रीवल, hybrid search kya hai, rrf kya hai, hybrid search, hybrid retrieval, reciprocal rank fusion, RRF

कीवर्ड सर्च सटीक शब्द ढूँढती है। वेक्टर सर्च मतलब ढूँढती है। हाइब्रिड सर्च दोनों चलाती है और नतीजे मिला देती है।

यह कैसे काम करती है

क्वेरी एक साथ दो retriever के पास जाती है:

  • कीवर्ड: inverted index पर BM25। नाम, कोड और दुर्लभ शब्दों पर मज़बूत।
  • वेक्टर: वेक्टर डेटाबेस में रखे embeddings पर nearest neighbours। दूसरे शब्दों में कही गई बात और पर्यायवाची शब्दों पर मज़बूत।

दोनों के स्कोर अलग पैमानों पर होते हैं, इसलिए ज़्यादातर सिस्टम रैंक या normalized स्कोर के आधार पर मिलाते हैं।

Reciprocal rank fusion (RRF), जो Cormack, Clarke और Büttcher (SIGIR 2009) से आता है, हर उस सूची के लिए एक पद जोड़ता है जिसमें कोई डॉक्यूमेंट आता है। Elasticsearch इस लूप को score += 1.0 / (k + rank(result(q), d)) के रूप में दर्ज करता है, जिसमें rank constant k डिफ़ॉल्ट रूप से 60 है। इसके डॉक्स कहते हैं “RRF requires no tuning.” (अनुवाद: RRF को किसी ट्यूनिंग की ज़रूरत नहीं।)

k = 60 के साथ एक हल किया हुआ उदाहरण:

डॉक्यूमेंट BM25 रैंक वेक्टर रैंक RRF स्कोर
A 1 3 1/61 + 1/63 = 0.0323
B 2 1 1/62 + 1/61 = 0.0325
C नहीं मिला 2 1/62 = 0.0161

B जीतता है क्योंकि दोनों retriever उसे ऊँची रैंक देते हैं।

Weighted fusion दूसरा आम तरीक़ा है। Weaviate का v1.24 से डिफ़ॉल्ट, relativeScoreFusion, हर सर्च के स्कोर normalize करता है और उन्हें scaled sum के रूप में जोड़ता है। इसकी alpha सेटिंग दोनों का वज़न तय करती है: 0 का मतलब सिर्फ़ कीवर्ड, 1 का मतलब सिर्फ़ वेक्टर, और 0.75 सर्वर का डिफ़ॉल्ट है। डॉक्स सलाह देते हैं कि alpha साफ़ तौर पर सेट करें: 0.75 का डिफ़ॉल्ट तभी लागू होता है जब अनुरोध बिना alpha के सर्वर तक पहुँचे, और हर क्लाइंट लाइब्रेरी इसे बिना सेट किए नहीं छोड़ती, इसलिए असली वज़न अलग हो सकता है।

fusion के बाद कई पाइपलाइन ऊपर के नतीजों पर एक reranker जोड़ती हैं।

यह क्यों मायने रखती है

  • Recall. असली क्वेरी में सटीक शब्द और ढीली भाषा दोनों होते हैं। अकेला retriever इनका कुछ हिस्सा छोड़ देता है।
  • अरबी. अरबी की वर्तनी बदलती रहती है (alef के रूप, ta marbuta, diacritics), जिससे टेक्स्ट normalize किए बिना सटीक कीवर्ड मिलान कमज़ोर पड़ता है। वेक्टर सर्च जोड़ने से सही chunk तक पहुँचने का दूसरा रास्ता मिलता है। देखें अरबी RAG सर्च और सर्च के लिए अरबी टेक्स्ट normalization।
  • कम टोकन. बेहतर रिट्रीवल का मतलब है हर सवाल पर LLM को कम chunk भेजना।

BroadNet Inference पर

हाइब्रिड सर्च आपके सर्च स्टैक में चलती है: Elasticsearch, OpenSearch, Weaviate या ऐसा ही कुछ। BroadNet embeddings या rerank endpoint नहीं देता, इसलिए embeddings किसी दूसरे प्रोवाइडर या लोकल मॉडल से बनाएँ। मिलाए गए ऊपर के chunk Chat Completions API से BroadNet के किसी चैट मॉडल को भेजें, जैसे Qwen3.8 27B या GLM 5.3। छोटे कॉर्पस के लिए, डॉक्यूमेंट को लंबे context में डालने से तुलना करें; देखें लंबा context बनाम RAG।

अक्सर पूछे जाने वाले सवाल

सिर्फ़ वेक्टर सर्च क्यों न इस्तेमाल करें?

Embeddings मतलब मिलाते हैं, लेकिन प्रोडक्ट कोड, नाम और एरर मैसेज जैसी सटीक स्ट्रिंग छोड़ सकते हैं। कीवर्ड सर्च इन्हें पकड़ लेती है। दोनों को जोड़ने से दोनों तरह की क्वेरी कवर होती हैं।

क्या RRF को ट्यून करना पड़ता है?

आम तौर पर ज़्यादा नहीं। Elasticsearch के डॉक्स कहते हैं कि RRF को किसी ट्यूनिंग की ज़रूरत नहीं होती और जिन नतीजों के सेट को यह मिलाता है उनके relevance स्कोर का आपस में तुलनीय होना ज़रूरी नहीं। इसका rank constant डिफ़ॉल्ट रूप से 60 होता है।

Weaviate में alpha का क्या मतलब है?

यह वेक्टर और कीवर्ड नतीजों के बीच वज़न तय करता है। Weaviate के डॉक्स कहते हैं कि alpha 0 का मतलब सिर्फ़ कीवर्ड सर्च, alpha 1 का मतलब सिर्फ़ वेक्टर सर्च, और सर्वर का डिफ़ॉल्ट 0.75 है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें