पहली सर्च तेज़ पर मोटी होती है। Reranking एक छोटी सूची पर ज़्यादा compute खर्च करके क्रम सही करता है।
यह कैसे काम करता है
दो चरणों वाली पाइपलाइन:
- Retrieve. कोई तेज़ तरीका, जैसे वेक्टर डेटाबेस में embeddings, BM25 या hybrid search, टॉप 50 से 100 उम्मीदवार लौटाता है।
- Rerank. Reranker query और हर उम्मीदवार को साथ पढ़ता है और हर जोड़े को एक प्रासंगिकता स्कोर देता है। टॉप 3 से 10 रखें।
ज़्यादातर rerankers cross-encoder होते हैं। Sentence Transformers डॉक्स कहते हैं कि cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (अनुवाद: आम तौर पर Sentence Transformer, यानी bi-encoder, मॉडल से बेहतर प्रदर्शन देता है), पर “Often slower” (अनुवाद: अक्सर धीमा) है, क्योंकि “it requires computation for each pair rather than each text.” (अनुवाद: इसे हर टेक्स्ट के बजाय हर जोड़े के लिए गणना करनी पड़ती है)। डॉक्स cross-encoders को bi-encoder के “often used to re-rank the top-k results” (अनुवाद: अक्सर top-k नतीजों को re-rank करने में इस्तेमाल होने वाले) बताते हैं।
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
यह तरीका कम से कम Nogueira और Cho (2019) तक जाता है, जिन्होंने BERT को passage re-ranker के रूप में फ़ाइन-ट्यून किया और MS MARCO passage retrieval पर पिछले सबसे अच्छे नतीजे के मुक़ाबले MRR@10 में 27% का सापेक्ष सुधार बताया।
होस्टेड rerank API भी हैं। Cohere का rerank एंडपॉइंट “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (अनुवाद: एक query और टेक्स्ट की सूची लेता है और क्रमबद्ध array बनाता है, जिसमें हर टेक्स्ट को एक प्रासंगिकता स्कोर मिलता है), स्कोर 0 से 1 की रेंज में normalize होते हैं, और नतीजे सीमित करने के लिए एक top_n field है।
यह क्यों मायने रखता है
- जवाब की क्वालिटी. LLM सिर्फ़ वही इस्तेमाल कर सकता है जो आप भेजते हैं। बेहतर क्रम सही chunk को प्रॉम्प्ट में पहुँचाता है।
- टोकन की लागत. अच्छे reranker के साथ आप 10 की जगह 3 chunks भेज सकते हैं, जिससे हर सवाल पर इनपुट टोकन घटते हैं।
- Latency. Reranker एक क़दम जोड़ता है। इसकी लागत उम्मीदवारों की संख्या के साथ बढ़ती है, इसलिए सूची छोटी रखें।
BroadNet Inference पर
BroadNet न rerank एंडपॉइंट देता है, न embeddings एंडपॉइंट। Cross-encoder ख़ुद चलाएँ, जैसे Sentence Transformers से, या कोई होस्टेड rerank API इस्तेमाल करें, फिर टॉप chunks को OpenAI-compatible Chat Completions API से BroadNet चैट मॉडल को भेजें।
अरबी दस्तावेज़ों के लिए जाँचें कि आपका reranker अरबी या बहुभाषी डेटा पर ट्रेन हुआ है; पाइपलाइन का बाक़ी हिस्सा अरबी RAG सर्च में है। अगर आपका कॉर्पस छोटा है, तो DeepSeek V4.1 Flash जैसा लंबे कॉन्टेक्स्ट वाला मॉडल आपको retrieval छोड़ने दे सकता है; देखें लंबा कॉन्टेक्स्ट बनाम RAG।