BroadRouter
शुरू करें

अरबी टेक्स्ट नॉर्मलाइज़ेशन (Arabic text normalization)

अपडेट किया गया

अरबी टेक्स्ट नॉर्मलाइज़ेशन वह चरण है जो मिलान से पहले एक ही शब्द की अलग-अलग वर्तनियों को एक रूप में बदलता है: डायक्रिटिक्स और tatweel हटाना, alef के रूप एक करना, और अक्सर ى को ي और ة को ه करना। यह सर्च key और मूल्यांकन पर लगता है, दिखाए जाने वाले टेक्स्ट पर नहीं।

अन्य नाम: अरबी नॉर्मलाइज़ेशन, अरबी टेक्स्ट नॉर्मलाइज़ेशन, alef नॉर्मलाइज़ेशन, arabic normalization kya hai, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

अरबी यूज़र एक ही शब्द कई तरह से टाइप करते हैं। नॉर्मलाइज़ेशन इन वर्तनियों को आपस में मिलाता है।

यह कैसे काम करता है

नॉर्मलाइज़ेशन कैरेक्टर बदलने के नियमों का एक सेट है, जो स्टोर किए गए टेक्स्ट और क्वेरी दोनों पर लगता है। Apache Lucene का ArabicNormalizer, जो कई सर्च इंजनों में इस्तेमाल होता है, पाँच नियम गिनाता है:

  1. alef आसन वाले hamza को सादा alef करना;
  2. teh marbuta (ة) को heh (ه) करना;
  3. बिना बिंदु वाले yeh, यानी alef maksura (ى), को yeh (ي) करना;
  4. हरकात (डायक्रिटिक्स) हटाना;
  5. tatweel, यानी “stretching character”, हटाना।

CAMeL Tools यही विचार अलग-अलग फ़ंक्शन के रूप में देता है। उसका normalize_alef_ar إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) को ا में बदलता है, normalize_alef_maksura_ar ى को ي में, और normalize_teh_marbuta_ar ة को ه में। normalize_unicode डिफ़ॉल्ट रूप से NFKC चलाता है, जो Unicode नॉर्मलाइज़ेशन है और सबसे पहले आना चाहिए।

Tatweel (U+0640, जिसे kashida भी कहते हैं) एक जोड़ने वाला कैरेक्टर है जिसे Unicode Standard justification के लिए बताता है: कैरेक्टर के बीच इसे डालने से लाइन खिंचती है। इसका कोई अर्थ नहीं, इसलिए كتـــاب और كتاب मेल खाने चाहिए।

एक उदाहरण:

इनपुट नॉर्मलाइज़ेशन के बाद लगे नियम
إِسْلامٌ اسلام डायक्रिटिक्स, alef
مدرسة مدرسه teh marbuta
مستشفى مستشفي alef maksura
كتـــاب كتاب tatweel

यह क्यों मायने रखता है

Larkey, Ballesteros और Connell (2002) ने TREC-2001 के अरबी न्यूज़वायर कलेक्शन को नॉर्मलाइज़ किया: विराम चिह्न, डायक्रिटिक्स और गैर-अक्षर हटाए और कई अक्षर-रूपों को एक रूप में बदला। सिर्फ़ नॉर्मलाइज़ेशन से monolingual average precision .194 से बढ़कर .238 हो गई। इसके ऊपर उनके light8 stemmer से यह .376 तक पहुँची।

यही बात इन पर भी लागू होती है:

  • RAG और कीवर्ड सर्च। बिना hamza के टाइप की गई क्वेरी को hamza के साथ लिखा दस्तावेज़ मिलना चाहिए। अरबी RAG सर्च देखें।
  • Word error rate। अरबी ASR स्कोर इस पर निर्भर हैं कि रेफ़रंस और ट्रांसक्रिप्ट एक ही तरह नॉर्मलाइज़ हुए या नहीं। अरबी WER व्याख्या इसका असर दिखाती है।
  • डुप्लिकेट हटाना और एनालिटिक्स। बिना नॉर्मलाइज़ेशन के शब्द या यूज़र के टर्म गिनने पर एक शब्द कई में बँट जाता है।

क़ीमत है शब्दों का आपस में मिल जाना। alef एक करने से अलग-अलग particles إن और أن एक ही स्ट्रिंग बन जाते हैं, और ة से ه वाला नियम كرة (गेंद) को كره (नफ़रत) से मिला देता है। hamza और taa marbuta के नियमों को समायोज्य मानें।

BroadNet Inference पर

नॉर्मलाइज़ेशन आपके कोड में चलता है, API पर नहीं। BroadNet के चैट और ट्रांसक्रिप्शन एंडपॉइंट आपका टेक्स्ट या ऑडियो जैसा है वैसा लेते हैं। दो कॉपी रखें: मॉडल और यूज़र के लिए मूल, और मिलान के लिए नॉर्मलाइज़्ड key।

मुफ़्त अरबी टेक्स्ट नॉर्मलाइज़र ये नियम ब्राउज़र में लगाता है, ताकि आप देख सकें कि हर नियम क्या बदलता है। नॉर्मलाइज़ेशन गाइड में टेस्ट किया हुआ Python कोड और हर नियम पर चर्चा है।

आम ग़लतियाँ

  • दस्तावेज़ों को नॉर्मलाइज़ करना पर क्वेरी को नहीं, या इसका उल्टा।
  • यूज़र को नॉर्मलाइज़्ड टेक्स्ट दिखाना या उसका हवाला देना।
  • अलग नियमों वाली लाइब्रेरी मिलाना, जैसे ى के लिए दो अलग मैपिंग।

अक्सर पूछे जाने वाले सवाल

क्या नॉर्मलाइज़ेशन embedding सर्च में भी मदद करता है?

पुराने नतीजे कीवर्ड सर्च पर मापे गए थे। embeddings के लिए फ़ैसला करने से पहले अपनी क्वेरी पर नॉर्मलाइज़्ड और कच्चे इनपुट दोनों को टेस्ट करें।

क्या LLM को भेजने से पहले टेक्स्ट नॉर्मलाइज़ करना चाहिए?

आम तौर पर नहीं। मूल टेक्स्ट भेजें ताकि मॉडल असली वर्तनी, hamza और डायक्रिटिक्स देखे। सिर्फ़ उन कॉपियों को नॉर्मलाइज़ करें जिनसे आप मिलान, इंडेक्स या स्कोर करते हैं।

क्या सभी लाइब्रेरी एक जैसे नियम लगाती हैं?

नहीं। CAMeL Tools और Lucene दोनों alef maksura को yeh और teh marbuta को heh में बदलते हैं, लेकिन दूसरी लाइब्रेरी अलग हैं। एक नियम-सेट चुनें और दस्तावेज़ों व क्वेरी दोनों पर वही लगाएँ।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें