embedding वह तरीक़ा है जिससे कंप्यूटर अर्थ को मापता है: मिलती-जुलती बात कहने वाले दो टेक्स्ट को ऐसे दो वेक्टर मिलते हैं जो लगभग एक ही दिशा में इशारा करते हैं।
यह कैसे काम करता है
आप टेक्स्ट को embedding मॉडल के पास भेजते हैं और बदले में एक तय लंबाई वाला वेक्टर पाते हैं। OpenAI की गाइड सीधे शब्दों में कहती है: “An embedding is a vector (list) of floating point numbers.” (अनुवाद: embedding फ़्लोटिंग पॉइंट संख्याओं का एक वेक्टर (सूची) है।) लंबाई हर मॉडल के लिए तय होती है। OpenAI का text-embedding-3-small डिफ़ॉल्ट रूप से 1,536 संख्याएँ देता है और text-embedding-3-large 3,072।
दो टेक्स्ट की तुलना करने के लिए आप उनके वेक्टर की तुलना करते हैं। OpenAI, cosine similarity की सलाह देता है। उसके वेक्टर लंबाई 1 पर नॉर्मलाइज़ होते हैं, इसलिए सादा dot product भी वही रैंकिंग देता है। लाखों सेव वेक्टर से किसी क्वेरी वेक्टर की तुलना ही सिमेंटिक सर्च का मूल है। बड़े पैमाने पर यह काम तेज़ी से करना वेक्टर डेटाबेस का काम है।
embedding मॉडल, चैट मॉडल से अलग क़िस्म के मॉडल हैं। ये पूरा इनपुट पढ़कर संख्याएँ लौटाते हैं; टेक्स्ट नहीं बनाते। इनका बिल प्रति इनपुट टोकन बनता है, और चुकाने के लिए कोई आउटपुट टेक्स्ट नहीं होता।
यह क्यों मायने रखता है
- Retrieval. embeddings आम तौर पर retrieval-augmented generation का पहला क़दम हैं: अपने दस्तावेज़ों का embedding एक बार बनाएँ, हर सवाल का embedding बनाएँ, सबसे नज़दीकी टुकड़े निकालें और उन्हें चैट मॉडल को दें।
- मॉडल बदलने से नतीजे बदलते हैं. MTEB बेंचमार्क ने 8 तरह के टास्क, 58 डेटासेट और 112 भाषाओं में 33 मॉडल टेस्ट किए और पाया कि “no particular text embedding method dominates across all tasks” (अनुवाद: कोई एक टेक्स्ट embedding तरीक़ा सभी टास्क में सबसे आगे नहीं है)। अपनी क्वेरी पर टेस्ट करें, ख़ासकर अरबी या मिली-जुली भाषा वाले टेक्स्ट के लिए।
- लॉक-इन. एक मॉडल के वेक्टर की तुलना दूसरे मॉडल के वेक्टर से नहीं की जा सकती। embedding मॉडल बदलने का मतलब है पूरे कॉर्पस का embedding दोबारा बनाना।
BroadNet Inference पर
BroadNet के डॉक्स /v1/chat/completions, /v1/audio/transcriptions और GET /v1/models (मॉडल की लिस्ट) सूचीबद्ध करते हैं। कोई embeddings एंडपॉइंट नहीं है। सर्च या RAG सिस्टम के लिए एक अलग embedding मॉडल (कोई होस्टेड API या आपका ख़ुद चलाया ओपन मॉडल) को जवाब के लिए BroadNet के चैट मॉडल के साथ जोड़ें। अरबी RAG गाइड एक बहुभाषी embedding मॉडल के साथ यही बँटवारा दिखाती है।
अगर आपके दस्तावेज़ समा जाएँ, तो लंबी कॉन्टेक्स्ट विंडो कभी-कभी retrieval की ज़रूरत ही ख़त्म कर देती है। फ़ायदे-नुक़सान लंबा कॉन्टेक्स्ट बनाम RAG में हैं।
आम ग़लतियाँ
- दो embedding मॉडल के वेक्टर एक ही इंडेक्स में मिलाना।
- टुकड़ों के बजाय पूरे दस्तावेज़ का embedding बनाना। 50 पन्नों का एक वेक्टर उसके हर विषय को धुँधला कर देता है।
- दस्तावेज़ों को नॉर्मलाइज़ करना पर क्वेरी को नहीं, या इसका उलटा। दोनों पर टेक्स्ट की एक जैसी सफ़ाई लागू करें।