अरबी यूज़र एक ही शब्द कई तरह से टाइप करते हैं। नॉर्मलाइज़ेशन इन वर्तनियों को आपस में मिलाता है।
यह कैसे काम करता है
नॉर्मलाइज़ेशन कैरेक्टर बदलने के नियमों का एक सेट है, जो स्टोर किए गए टेक्स्ट और क्वेरी दोनों पर लगता है। Apache Lucene का ArabicNormalizer, जो कई सर्च इंजनों में इस्तेमाल होता है, पाँच नियम गिनाता है:
- alef आसन वाले hamza को सादा alef करना;
- teh marbuta (ة) को heh (ه) करना;
- बिना बिंदु वाले yeh, यानी alef maksura (ى), को yeh (ي) करना;
- हरकात (डायक्रिटिक्स) हटाना;
- tatweel, यानी “stretching character”, हटाना।
CAMeL Tools यही विचार अलग-अलग फ़ंक्शन के रूप में देता है। उसका normalize_alef_ar إ أ ٱ آ (U+0625, U+0623, U+0671, U+0622) को ا में बदलता है, normalize_alef_maksura_ar ى को ي में, और normalize_teh_marbuta_ar ة को ه में। normalize_unicode डिफ़ॉल्ट रूप से NFKC चलाता है, जो Unicode नॉर्मलाइज़ेशन है और सबसे पहले आना चाहिए।
Tatweel (U+0640, जिसे kashida भी कहते हैं) एक जोड़ने वाला कैरेक्टर है जिसे Unicode Standard justification के लिए बताता है: कैरेक्टर के बीच इसे डालने से लाइन खिंचती है। इसका कोई अर्थ नहीं, इसलिए كتـــاب और كتاب मेल खाने चाहिए।
एक उदाहरण:
| इनपुट | नॉर्मलाइज़ेशन के बाद | लगे नियम |
|---|---|---|
| إِسْلامٌ | اسلام | डायक्रिटिक्स, alef |
| مدرسة | مدرسه | teh marbuta |
| مستشفى | مستشفي | alef maksura |
| كتـــاب | كتاب | tatweel |
यह क्यों मायने रखता है
Larkey, Ballesteros और Connell (2002) ने TREC-2001 के अरबी न्यूज़वायर कलेक्शन को नॉर्मलाइज़ किया: विराम चिह्न, डायक्रिटिक्स और गैर-अक्षर हटाए और कई अक्षर-रूपों को एक रूप में बदला। सिर्फ़ नॉर्मलाइज़ेशन से monolingual average precision .194 से बढ़कर .238 हो गई। इसके ऊपर उनके light8 stemmer से यह .376 तक पहुँची।
यही बात इन पर भी लागू होती है:
- RAG और कीवर्ड सर्च। बिना hamza के टाइप की गई क्वेरी को hamza के साथ लिखा दस्तावेज़ मिलना चाहिए। अरबी RAG सर्च देखें।
- Word error rate। अरबी ASR स्कोर इस पर निर्भर हैं कि रेफ़रंस और ट्रांसक्रिप्ट एक ही तरह नॉर्मलाइज़ हुए या नहीं। अरबी WER व्याख्या इसका असर दिखाती है।
- डुप्लिकेट हटाना और एनालिटिक्स। बिना नॉर्मलाइज़ेशन के शब्द या यूज़र के टर्म गिनने पर एक शब्द कई में बँट जाता है।
क़ीमत है शब्दों का आपस में मिल जाना। alef एक करने से अलग-अलग particles إن और أن एक ही स्ट्रिंग बन जाते हैं, और ة से ه वाला नियम كرة (गेंद) को كره (नफ़रत) से मिला देता है। hamza और taa marbuta के नियमों को समायोज्य मानें।
BroadNet Inference पर
नॉर्मलाइज़ेशन आपके कोड में चलता है, API पर नहीं। BroadNet के चैट और ट्रांसक्रिप्शन एंडपॉइंट आपका टेक्स्ट या ऑडियो जैसा है वैसा लेते हैं। दो कॉपी रखें: मॉडल और यूज़र के लिए मूल, और मिलान के लिए नॉर्मलाइज़्ड key।
मुफ़्त अरबी टेक्स्ट नॉर्मलाइज़र ये नियम ब्राउज़र में लगाता है, ताकि आप देख सकें कि हर नियम क्या बदलता है। नॉर्मलाइज़ेशन गाइड में टेस्ट किया हुआ Python कोड और हर नियम पर चर्चा है।
आम ग़लतियाँ
- दस्तावेज़ों को नॉर्मलाइज़ करना पर क्वेरी को नहीं, या इसका उल्टा।
- यूज़र को नॉर्मलाइज़्ड टेक्स्ट दिखाना या उसका हवाला देना।
- अलग नियमों वाली लाइब्रेरी मिलाना, जैसे ى के लिए दो अलग मैपिंग।