BroadRouter
शुरू करें

रीरैंकिंग (reranking)

अपडेट किया गया

Reranking retrieval का दूसरा चरण है जिसमें एक ज़्यादा सटीक पर धीमा मॉडल, आम तौर पर cross-encoder, पहली सर्च से आए हर query और दस्तावेज़ जोड़े को स्कोर करके उनका क्रम बदलता है, ताकि सिर्फ़ सबसे प्रासंगिक कुछ ही लैंग्वेज मॉडल तक पहुँचें।

अन्य नाम: रीरैंकिंग, री-रैंकिंग, reranking kya hai, reranker kya hota hai, reranking, reranker, rerank, re-ranking, cross-encoder reranker

पहली सर्च तेज़ पर मोटी होती है। Reranking एक छोटी सूची पर ज़्यादा compute खर्च करके क्रम सही करता है।

यह कैसे काम करता है

दो चरणों वाली पाइपलाइन:

  1. Retrieve. कोई तेज़ तरीका, जैसे वेक्टर डेटाबेस में embeddings, BM25 या hybrid search, टॉप 50 से 100 उम्मीदवार लौटाता है।
  2. Rerank. Reranker query और हर उम्मीदवार को साथ पढ़ता है और हर जोड़े को एक प्रासंगिकता स्कोर देता है। टॉप 3 से 10 रखें।

ज़्यादातर rerankers cross-encoder होते हैं। Sentence Transformers डॉक्स कहते हैं कि cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (अनुवाद: आम तौर पर Sentence Transformer, यानी bi-encoder, मॉडल से बेहतर प्रदर्शन देता है), पर “Often slower” (अनुवाद: अक्सर धीमा) है, क्योंकि “it requires computation for each pair rather than each text.” (अनुवाद: इसे हर टेक्स्ट के बजाय हर जोड़े के लिए गणना करनी पड़ती है)। डॉक्स cross-encoders को bi-encoder के “often used to re-rank the top-k results” (अनुवाद: अक्सर top-k नतीजों को re-rank करने में इस्तेमाल होने वाले) बताते हैं।

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

यह तरीका कम से कम Nogueira और Cho (2019) तक जाता है, जिन्होंने BERT को passage re-ranker के रूप में फ़ाइन-ट्यून किया और MS MARCO passage retrieval पर पिछले सबसे अच्छे नतीजे के मुक़ाबले MRR@10 में 27% का सापेक्ष सुधार बताया।

होस्टेड rerank API भी हैं। Cohere का rerank एंडपॉइंट “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (अनुवाद: एक query और टेक्स्ट की सूची लेता है और क्रमबद्ध array बनाता है, जिसमें हर टेक्स्ट को एक प्रासंगिकता स्कोर मिलता है), स्कोर 0 से 1 की रेंज में normalize होते हैं, और नतीजे सीमित करने के लिए एक top_n field है।

यह क्यों मायने रखता है

  • जवाब की क्वालिटी. LLM सिर्फ़ वही इस्तेमाल कर सकता है जो आप भेजते हैं। बेहतर क्रम सही chunk को प्रॉम्प्ट में पहुँचाता है।
  • टोकन की लागत. अच्छे reranker के साथ आप 10 की जगह 3 chunks भेज सकते हैं, जिससे हर सवाल पर इनपुट टोकन घटते हैं।
  • Latency. Reranker एक क़दम जोड़ता है। इसकी लागत उम्मीदवारों की संख्या के साथ बढ़ती है, इसलिए सूची छोटी रखें।

BroadNet Inference पर

BroadNet न rerank एंडपॉइंट देता है, न embeddings एंडपॉइंट। Cross-encoder ख़ुद चलाएँ, जैसे Sentence Transformers से, या कोई होस्टेड rerank API इस्तेमाल करें, फिर टॉप chunks को OpenAI-compatible Chat Completions API से BroadNet चैट मॉडल को भेजें।

अरबी दस्तावेज़ों के लिए जाँचें कि आपका reranker अरबी या बहुभाषी डेटा पर ट्रेन हुआ है; पाइपलाइन का बाक़ी हिस्सा अरबी RAG सर्च में है। अगर आपका कॉर्पस छोटा है, तो DeepSeek V4.1 Flash जैसा लंबे कॉन्टेक्स्ट वाला मॉडल आपको retrieval छोड़ने दे सकता है; देखें लंबा कॉन्टेक्स्ट बनाम RAG।

अक्सर पूछे जाने वाले सवाल

पूरी सर्च के लिए ही cross-encoder क्यों न इस्तेमाल करें?

यह हर query और दस्तावेज़ जोड़े को अलग से स्कोर करता है, इसलिए पूरे संग्रह पर चलाने के लिए बहुत धीमा है। पहला चरण लाखों दस्तावेज़ों को दसियों या सैकड़ों तक घटाता है, और reranker सिर्फ़ उन्हीं का क्रम तय करता है।

क्या LLM reranker बन सकता है?

हाँ। आप किसी चैट मॉडल से उम्मीदवारों को स्कोर करने या क्रम में लगाने को कह सकते हैं। यह आम तौर पर छोटे cross-encoder से धीमा और प्रति query महँगा होता है, इसलिए अपने डेटा पर दोनों टेस्ट करें।

कितने उम्मीदवारों को rerank करूँ?

इतने कि सही जवाब आम तौर पर उनमें हो। मापें कि सही chunk पहले चरण के टॉप 20, 50 और 100 में कितनी बार आता है, और अच्छे recall वाली सबसे छोटी संख्या चुनें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें