BroadRouter
شروع کریں

نیمڈ اینٹیٹی ریکگنیشن (NER)

اپ ڈیٹ

Named entity recognition (NER) متن میں نام تلاش کرنے اور ہر نام کو شخص، ادارہ یا مقام جیسی کسی قسم کا لیبل دینے کا کام ہے۔ روایتی سسٹم ہر ٹوکن کو ٹیگ کرتے ہیں؛ LLMs سے اکثر entities کی فہرست JSON میں مانگی جاتی ہے، جسے پھر ماخذ متن سے ملا کر جانچا جاتا ہے۔

دوسرے نام: NER، نیمڈ اینٹیٹی ریکگنیشن، اینٹیٹی ایکسٹریکشن، ner kya hai، named entity recognition kya hai، named entity recognition، entity extraction، named entities

کسی معاہدے یا خبر سے ہر شخص، کمپنی اور مقام نکالیں، ہر ایک کی قسم کے ساتھ۔ یہی NER ہے، اور یہ LLM کو دیے جانے والے سب سے عام کاموں میں سے ایک ہے۔

یہ کیسے کام کرتا ہے

روایتی بینچ مارک CoNLL-2003 shared task ہے۔ اس میں انگریزی Reuters خبریں اور جرمن Frankfurter Rundschau کا متن استعمال ہوا، چار اقسام (اشخاص کے لیے PER، ORG، LOC، اور MISC، یعنی “names of miscellaneous entities that do not belong to the previous three groups” (ترجمہ: متفرق entities کے نام جو پچھلے تین گروپوں میں نہیں آتیں))، اور IOB ٹیگز: ہر لفظ کسی قسم کا B- یا I- ہے، یا باہر کے لیے O۔ اسکورنگ entities پر F1 ہے، اور کوئی entity تبھی شمار ہوتی ہے جب وہ reference سے بالکل میل کھائے۔

IOB شکل میں ایک عربی مثال:

ٹوکن ٹیگ
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“خالد العتیبی نے ریاض شہر کا دورہ کیا۔”)

عربی کے اپنے ڈیٹاسیٹس ہیں۔ ANERcorp، جسے Yassine Benajiba نے بنایا اور جو 2008 سے ایک معیاری حوالہ ہے، خبروں کا متن ہے؛ CAMeL Lab کی طے شدہ تقسیم میں CC BY-SA 4.0 کے تحت 125,102 ٹریننگ الفاظ اور 25,008 ٹیسٹ الفاظ ہیں۔ Wojood (Jarrar اور ساتھی، 2022) میں MSA اور لہجے والے متن کے تقریباً 550K ٹوکن، 21 entity اقسام اور تقریباً 75K entities ہیں، جن میں سے 22.5% nested ہیں۔ اس کے AraBERT پر مبنی ماڈل نے 0.884 micro F1 اسکور کیا۔

LLM کے ساتھ عام طریقہ مختلف ہے: ہر ٹوکن پر ٹیگ کے بجائے ایک فہرست مانگیں۔

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

یہ کیوں اہم ہے

NER سرچ فلٹرز، CRM ریکارڈز، PII کی redaction اور knowledge graphs کو ڈیٹا دیتا ہے۔ LLM کے ساتھ بڑے خطرات یہ ہیں:

  • گھڑی ہوئی یا بدلی ہوئی entities۔ ماڈل ایسا نام واپس کر سکتا ہے جو متن میں ہے ہی نہیں، یا اس کا املا “درست” کر سکتا ہے۔ دونوں طرف عربی متن کی normalization کے بعد جانچیں کہ ہر entity ماخذ میں موجود ہے۔ یہ ہیلوسینیشن کی ایک جانچ ہے۔
  • لیبلز کا بھٹکنا۔ اقسام کی فہرست ایک schema میں طے کریں، تاکہ ماڈل کوئی نئی قسم نہ گھڑ سکے۔
  • بینچ مارک آپ کا ڈیٹا نہیں۔ عوامی لیبل شاذ ہی آپ کے لیبلز سے میل کھاتے ہیں۔ ایک نمونہ ہاتھ سے لیبل کریں اور precision، recall اور F1 اسکور کریں، جیسے کسی بھی eval میں۔

BroadNet Inference پر

BroadNet کا کوئی NER اینڈپوائنٹ نہیں؛ آپ اسے POST /v1/chat/completions پر بناتے ہیں۔ BroadNet کا API ریفرنس GLM 5.3 اور Qwen3.8 27B کے لیے structured output درج کرتا ہے، اور اسی سے آپ ماڈل کو entity فہرست اور اقسام کے طے شدہ سیٹ کا پابند رکھتے ہیں۔ جو دستاویزات تصاویر کی صورت میں آتی ہیں، ان کے لیے Qwen3.8 27B تصویری ان پٹ بھی لیتا ہے۔

BroadNet اپنے ماڈلز کا کوئی NER بینچ مارک شائع نہیں کرتا۔ عربی named entity extraction والی تحریر میں ایک پرامپٹ، اعراب کو نظرانداز کرنے والی span جانچ، ہجری تاریخوں کی ہینڈلنگ اور اپنے نمونے پر چلانے کے لیے ایک اسکورنگ اسکرپٹ ہے۔

عام سوالات

NER اور entity extraction میں کیا فرق ہے؟

تحقیق میں NER کا مطلب عموماً ہر ٹوکن کو ایک لیبل سے ٹیگ کرنا ہے۔ Entity extraction کا مطلب اکثر entities کی فہرست واپس کرنا ہے، اور زیادہ تر LLM پائپ لائنز اسے اسی طرح رکھتی ہیں۔ اسی شکل کو اسکور کریں جو آپ واقعی شپ کرتے ہیں۔

ماڈل کی واپس کی گئی entity میرے عربی متن سے میل کیوں نہیں کھاتی؟

اکثر ماڈل نے نقل کرتے وقت کوئی ہمزہ بدل دیا، tatweel ہٹا دیا یا اعراب لگا دیے۔ یہ جانچنے سے پہلے کہ entity متن میں موجود ہے، entity اور ماخذ دونوں کو normalize کریں۔

Nested NER کیا ہے؟

دوسری entities کے اندر موجود entities، جیسے کسی ادارے کے نام کے اندر شہر۔ Wojood انہیں annotate کرتا ہے؛ اس کی 22.5% entities nested ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں