किसी अनुबंध या समाचार से हर व्यक्ति, कंपनी और जगह निकालिए, हर एक के प्रकार के साथ। यही NER है, और यह LLM को दिए जाने वाले सबसे आम कामों में से एक है।
यह कैसे काम करता है
क्लासिक बेंचमार्क CoNLL-2003 shared task है। इसमें अंग्रेज़ी Reuters समाचार और जर्मन Frankfurter Rundschau का टेक्स्ट इस्तेमाल हुआ, चार प्रकार (व्यक्तियों के लिए PER, ORG, LOC, और MISC, यानी “names of miscellaneous entities that do not belong to the previous three groups” (अनुवाद: ऐसी विविध entities के नाम जो पिछले तीन समूहों में नहीं आतीं)), और IOB टैग: हर शब्द किसी प्रकार का B- या I- है, या बाहर के लिए O। स्कोरिंग entities पर F1 है, और कोई entity तभी गिनी जाती है जब वह reference से हूबहू मेल खाए।
IOB रूप में एक अरबी उदाहरण:
| टोकन | टैग |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“ख़ालिद अल-उतैबी ने रियाद शहर का दौरा किया।”)
अरबी के अपने डेटासेट हैं। ANERcorp, जिसे Yassine Benajiba ने बनाया और जो 2008 से एक मानक reference है, समाचार टेक्स्ट है; CAMeL Lab के तय split में CC BY-SA 4.0 के तहत 125,102 ट्रेनिंग शब्द और 25,008 टेस्ट शब्द हैं। Wojood (Jarrar और साथी, 2022) में MSA और बोली वाले टेक्स्ट के लगभग 550K टोकन, 21 entity प्रकार और लगभग 75K entities हैं, जिनमें से 22.5% nested हैं। उसके AraBERT पर आधारित मॉडल ने 0.884 micro F1 स्कोर किया।
LLM के साथ आम तरीका अलग है: हर टोकन पर टैग के बजाय एक सूची माँगें।
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
यह क्यों मायने रखता है
NER सर्च फ़िल्टर, CRM रिकॉर्ड, PII की redaction और knowledge graph को डेटा देता है। LLM के साथ मुख्य जोखिम ये हैं:
- गढ़ी हुई या बदली हुई entities. मॉडल ऐसा नाम लौटा सकता है जो टेक्स्ट में है ही नहीं, या उसकी वर्तनी “सुधार” सकता है। दोनों तरफ़ अरबी टेक्स्ट normalization के बाद जाँचें कि हर entity स्रोत में मौजूद है। यह हैलुसिनेशन की एक जाँच है।
- लेबल का भटकना. प्रकारों की सूची एक schema में तय करें, ताकि मॉडल कोई नया प्रकार न गढ़ सके।
- बेंचमार्क आपका डेटा नहीं हैं. सार्वजनिक लेबल शायद ही आपके लेबल से मेल खाते हैं। एक सैंपल हाथ से लेबल करें और precision, recall और F1 स्कोर करें, जैसे किसी भी eval में।
BroadNet Inference पर
BroadNet का कोई NER एंडपॉइंट नहीं है; आप इसे POST /v1/chat/completions पर बनाते हैं। BroadNet का API रेफ़रंस GLM 5.3 और Qwen3.8 27B के लिए structured output दर्ज करता है, और इसी से आप मॉडल को entity सूची और प्रकारों के तय सेट में बाँधते हैं। जो दस्तावेज़ इमेज के रूप में आते हैं, उनके लिए Qwen3.8 27B इमेज इनपुट भी लेता है।
BroadNet अपने मॉडलों का कोई NER बेंचमार्क प्रकाशित नहीं करता। अरबी named entity extraction वाले लेख में एक प्रॉम्प्ट, diacritics को नज़रअंदाज़ करने वाली span जाँच, हिजरी तारीख़ों की हैंडलिंग और अपने सैंपल पर चलाने के लिए एक स्कोरिंग स्क्रिप्ट है।